1.2 学习的迁移理论

迁移学习的根本目的是提高学习器在目标领域/任务上的性能，下面我们试图从儿童教育心理学的角度来分析学习的迁移理论支撑。总体上，早期的迁移理论有三大学说[6]：形式训练说、相同要素说、概括化理论。在机器学习的迁移学习领域，笔者认为这三大学说可以对应于模型训练、数据基础、概念学习。

形式训练说 迁移理论中最早的学说是形式训练说（Formal Discipline Theory），主张迁移要经历一个“形式训练”过程才能产生。形式训练说的心理学基础是官能心理学，认为迁移是通过某种科目或者题材对组成心智的各种官能进行训练，以提高各种能力而自动实现学习，得到训练的官能又可以自动地迁移到其他活动中，即一种官能改进了，其他官能也会在无形中得以加强，如记忆官能增强以后，人就可以更好地学会和记住各种知识。

官能训练注重训练的形式而不注重内容，因为内容会被忘掉，其作用是暂时的，而只有通过这种形式的训练所达到的官能的进化才是永久的，才能迁移到其他的知识学习中，终生受用。类比到机器学习领域，则是对迁移学习模型不断训练的过程。通过不断地训练，模型可以“记住”更多知识，这样就可以保证模型在未知领域上的性能。目前，人工智能领域非常热的预训练模型可以作为非常典型的形式训练说的体现，通过大规模的预训练模型，知识得以加强，而且可以更好地泛化到相关领域问题的解决中。

相同要素说 桑代克和伍德沃斯以刺激—反应的联结理论为基础，提出了学习迁移的相同要素说（Identical Element Theory），认为训练可以迁移到类似的学习活动中，不相似的学习活动间则无迁移现象，如学习围棋并不会对学习法语有帮助。

桑代克的形状知觉实验是学习迁移的相同要素说的经典实验。他以大学生为被试对象，训练他们判断各种形状、大小的图形的面积。首先，被试对象接受初测，要求估计127个矩形、三角形、圆形和不规则图形的面积，以了解他们判断各种图形面积的能力。然后用90个平行四边形训练被试对象。最后，对被试对象进行两种测验：一是判断13个与训练图形相似的长方形的面积；二是判断27个曾在初测中使用过的三角形、圆形和不规则图形的面积。结果表明，这样的训练只是提高了被试对象对长方形面积的判断成绩，他们对三角形、圆形、不规则图形面积的判断成绩却没有提高。该实验说明，只有当学习情境和迁移测验情境存在共同成分时，一种学习才能影响另一种学习，即产生迁移。这也就是桑代克所说的具备共同要素才能更好地迁移。相同要素说相比形式训练说，对迁移的解释更客观，说明了学习任务与迁移任务之间的关系对迁移产生的影响。

在提出的很多迁移学习算法中，也是基于这样的假设，即源领域（任务）和目标领域（任务）具有相关性或者共享相同的因素，迁移学习算法才能表现得好。基于实例的迁移学习算法就是在模型训练过程中针对源领域中的样本赋予不同的权重，对与目标领域相似的样本给予较高的权重，反之则降低权重。基于特征选择的方法，也是选取不同领域之间的共同特征作为知识迁移的桥梁。基于参数共享的迁移学习算法，则是通过共享不同领域之间的共性知识达到迁移的目的。

概括化理论 概括化理论又称“经验类化理论”，它是由贾德提出来的。这个理论认为，只要一个人对他的经验进行了概括，就可以完成从一个情境到另一个情境的迁移。贾德在1908年所做的“水下打靶”实验是经验类化理论的经典实验。他以五年级和六年级的小学生作为被测对象，将他们分成两组，并让他们练习用标枪投中水下的靶子。在实验前，对其中一组讲授了光学折射原理，对另一组则不讲授，他们只能从尝试中获得一些经验。在开始投掷练习时，靶子置于水下1.2英寸[1]处。结果，学习过和未学习过折射原理的学生，其成绩相同。这是因为在测验中，所有学生都必须学会运用标枪，理论说明不能代替练习。当把水下1.2英寸处的靶子移到水下4英寸处时，两组的差异就明显地表现出来了：未学习折射原理的一组学生不能运用水下1.2英寸处的投掷经验来改进靶子位于水下4英寸处的投掷练习效果，错误持续发生；学过折射原理的学生，则能迅速适应水下4英寸的学习情境，并且学得快，投得准。

对此，贾德是这样解释的：理论曾把有关的全部经验，包括水外的、深水的和浅水的经验，组成了整个思想体系。学生在理论知识的背景上，理解了实际情况以后，就能利用概括好的经验去迅速解决需要按实际情况分析和调整的新问题。概括化理论与相同要素说的区别在于，桑代克的理论把注意力集中在先期和后期的学习活动所共有的因素上，而贾德则认为在先期学习A中所获得的经验，之所以能够迁移到后期的学习B，是因为在学习A时获得了一般原理，这种一般原理可以部分或全部运用于学习A和学习B之中。这一理论强调了经验概括的重要性。

贾德认为，两个学习活动之间存在的共同成分，只是产生迁移的必要前提，而产生迁移的关键是，学习者在两种活动中概括出它们之间的共同原理。这也为迁移学习的研究提供了迁移理论基础和更高的要求，在迁移学习研究过程中，要同时重视数据认识以及模型训练。首先，源领域与目标领域存在的共性（数据、知识、参数）是进行迁移学习的条件，学会骑自行车并不会对学习围棋有任何帮助。其次，我们要重视迁移过程中模型的设计和训练。良好的模型设计和训练可以学习到利于下游任务目标的抽象知识和高层语义，即高度概括化的知识。值得庆幸的是，随着深度学习的研究进展，很多模型已经能够学习到特定领域的概括化知识，从而推动迁移学习的研究。