前言
迁移学习是机器学习中一种新的学习范式,解决的是目标领域中只有少量标记样本,甚至没有样本的富有挑战性的学习问题。在过去的十几年里,不管从算法、理论研究还是从实际场景应用来说,迁移学习都得到越来越广泛的关注与研究。
国内外学者对迁移学习的研究已经有十几年,并且提出了大量的迁移学习算法,但还没有相关图书针对这些算法从所采用的技术的角度进行系统、深入的梳理和总结。本人从事迁移学习以及相关方面的研究将近十五年,一直想对迁移学习算法所采用的技术脉络进行系统梳理,方便学术界和工业界能够较快地掌握各类迁移学习算法;另外,我们还将对已有的迁移学习代码进行梳理,方便迁移学习相关的研究学者以及应用开发者进行研究和实践。因此,本书试图按照迁移学习采用的技术对迁移学习算法进行分类总结,以我们十几年来的研究工作为基础,扩展各类迁移学习算法的代表性工作进行介绍。具体来说,本书首先从迁移学习采用的技术出发,系统介绍每一类迁移学习算法,包括基于非负矩阵分解、概率模型、传统深度学习、对抗深度学习、模型融合以及图神经网络等的迁移学习算法,针对每一类算法介绍代表性的几种工作,并从算法动机、算法原理、算法流程等方面进行重点介绍;然后针对迁移学习的应用场景,介绍典型的应用案例;最后,介绍迁移学习在百度飞桨平台上的实践。本书旨在让迁移学习或者相关领域的研究人员系统地掌握迁移学习的各类算法,熟悉各类应用场景,进而为落地实践提供指导和帮助。
本书从2021年7月开始撰写,之所以能够顺利完成,我的团队、学生、朋友,还有百度团队付出了巨大的努力。在这里我要特别感谢他们,包括孙莹、秦川、朱勇椿、童逸琦、杜晨光、庄远鑫、张钊、张啸、姚开春、李爽、顾晶晶、祝恒书、毕然、张亚娴、张翰迪、马艳军、于佃海、吴蕾等(排名不分先后),他们每一个人都为本书的撰写付出了大量的时间和精力,再次感谢他们。我还要感谢香港科技大学的杨强教授,他为本书的撰写给出了很多建设性意见。当然,本书的出版也离不开出版社编辑老师的辛勤付出,在这里一并表示感谢。由于作者水平有限,本书完成初稿以后,虽然经历过反复梳理和校对,书中难免还有一些问题和瑕疵。若有发现,请及时反馈给我(Email:zhuangfuzhen@buaa.edu.cn)或出版社进行修正,不胜感激。
庄福振
2022年9月于北京航空航天大学