第二部分 英语教学研究与实践
联结主义认知理论综述
摘要:本文综述了联结主义主要特征及其产生的哲学、心理学、神经生理学以及数学根源,自产生以来,联结主义理论成为探究和解释个体学习现象的一个视角,各个学习流派都曾把联结系统看成学习发生的基础,而时代变化,联结主义学习理论正面临新的学习理论的挑战。有必要对联结主义体系来重新建构学习,以帮助我们更好地认识它的发展过程,更好地理解、发展当今的联结主义理论。
关键词:联结主义 根源 交叉科学
联结主义(connectionism)与符号主义(symbolism)一起构成了认知科学的两个主要流派。其思想的发展经历了许多领域的影响,研究这些对于联结主义的发展产生重要影响的相关理论有助于我们深入地了解联结主义的根源和发展过程,从而更好地理解当今的联结主义理论。
一、联结主义的起源与基本特征
联结主义理论起源于人们对于大脑结构与工作方式的研究。大脑由大量的神经细胞构成,神经细胞具有六个基本功能(Dudai, 1989)。第一,输入功能,可以接受来自于外部环境或者其他神经细胞的信号;第二,合成功能,可以对接收的信号进行合成与加工;第三,传导功能,可以把合成的信息传递一定的距离;第四,输出功能,可以把信息传递给其他的细胞;第五,计算功能,可以把一种信息映射转化为另一种信息;第六,表象功能,促进内部表象的形成。
联结主义最为突出的特点在于两点:并行和分布。传统的认知理论对于心理过程的描述都是序列性的,即心理过程的发生具有时间的先后次序,是一个接一个的。例如,对于语言的理解可以大致地描述为这样的过程,首先听者感知语音,然后辨认出不同的单词,再把单词组成一系列的短语,再形成句子,最后在句子的基础上理解意义。但是现实生活中对语言的处理似乎并不是这样有次序地依次进行的。例如,我们看到一个水果,并要说出它的名称。联结主义的解释为,当看到这种水果时,所有自己知道的水果名称都会得到一定程度的激活,而那些更为常见的水果名称激活的速度更快。联结主义的另一个特点是分布。我们以“芒果”一词为例来说明这一点。在传统的认知理论中,每一个概念,包括“芒果”在内都储存在某个地方,而与之有关的特征,如“水果”、“甜的”、“热带的”等,都被视为独立的概念,是分开存储的。而联结主义则认为,每一个概念都包含不同的组成部分,就“芒果”一词来说,
像“水果”、“甜的”、“热带的”等概念都是它的组成部分,而不仅仅与之相关联。联结主义认知模式的建立在许多个方面体现了大脑的结构特点。Rumelhart, Hinton和McClelland(1986)列举了并行分布处理(Parallel Distributed Processing, PDP)模型的八个基本特征:一系列的处理单元、激活状态、每个单元的输出功能、单元之间的联结模式、通过网络联结的激活传播模式的传播规则、把一个单元所接受的输入与该单元的现行状态相结合产生新的激活状态的激活规则、通过经验调整联结模式的学习规则、系统运行所处的环境。这八个特征可以很容易地与神经细胞的六个功能对应起来。处理单元就是细胞本身,激活状态和激活规则属于细胞输入和合成功能的一部分,输出功能与细胞的输出功能相对应,联结模式和传播规则与细胞的传导功能相对应,而学习规则与环境则与细胞的计算和表象功能相对应。Bechtel和Abrahamsen(1991)在上述八种特征的基础上,总结了联结主义模型的四个基本特征:单元之间的联结、单元的激活功能、用于调节单元之间联结的学习程序和对网络进行语义解释的方式。上述四个特征可以被概括联结主义的三个基本原则(Medler, 1998)。第一,信号的处理由基本的单元进行;第二,处理单元与其他单元并行联结;第三,处理单元之间的联结具有不同的权重值。上述三个基本原则可以应用于各种联结主义模型,从而成为衡量各种联结主义模型的基本标准。
二、联结主义的哲学根源
联结主义重视心理与身体(及心理活动的物质基础)之间的关系,大脑是心理或者认知活动的物质基础。关于大脑与心理之间的关系,哲学史上一直存在着二元论(dualism)与一元论(monism)之争。二元论主张世界有物质和精神两个独立的本源,它以17世纪法国哲学家笛卡儿为代表。他认为精神和物质是两个绝对不同的实体,精神的本质在于思想,物质的本质在于广袤(占有空间);物质不能思维,精神没有广袤;二者彼此完全独立,不能由一个决定另一个,也不能由一个派生另一个。按照这种观点,大脑作为一种物质的实体,与非物质的心理与认知活动没有任何关系,我们也不能按照大脑的工作原理来研究心理过程。一元论则与之相反,认为心理与大脑是同一个实体的两个方面,因此,对于大脑研究的成果可以使人们更好地认识心理的过程。关联主义(associationism)则强调人类生活经历的各种要素(不论是主观的还是客观的)之间的相互关联,其基本思想可以被概括为五点(Medler,1998):第一,心理要素通过经验而相互关联;第二,经验包括空间的连续、时间的连续、思想的相似以及差异;第三,复杂的思想可以被简化为一系列简单的思想;第四,简单的思想就是感知;第五,简单的添加规则(additive rule)足以预测由简单思想构成的复杂思想。在经验主义的理论中,解释心理过程的理论被称为关联主义,可以看出,关联主义的许多思想行为主义心理学有许多共同之处,后来的认知主义心理学逐渐放弃了关联主义,因为它在解释诸如递归语法(recursive grammars)等认知现象方面存在许多不足(Bever等,1968)。由于关联主义与联结主义名称的相似性,人们很容易把两者混淆起来。而实际上两者之间既有一定的联系,但是有存在着很大的差异。联结主义从关联主义中汲取并扩展了一些思想,但是联结主义中的许多内容,例如分布表象、隐藏单元、学习等,都是关联主义所不具备的(Fodor & Pylyshyn, 1988)。
三、联结主义的心理学根源
3.1 Spencer的联结思想
Spencer在1855出版了其著名的两卷本《心理学原理》一书,并为当时不断兴起的心理学奠定了基础。他认为对于神经系统的描述对于心理语言学研究是至关重要的,认为所有的心理现象,包括感知、推理等,都与神经机制有关。神经细胞之间的“神经交流”(nervous communication)的变化是神经系统活动的基础功能,所有的智力形式,从低级到高级,都可以通过前后延续的心理状态的关联进行解释(Vol. 1:425)。Spencer从关联主义的观点出发,认为关系的建立是所有认知活动的核心。感知是“在一些原始的不可分解的意识状态中建立关系和关系组”(Vol. 1:285),认知是“把现在与过去印象地结合与分类”(Vol. 1:184),分类是“对于一组特定物体中的某一个特定物体的辨认”(Vol. 1:184),推理是“在两个明确的关系之间建立一个明确的关系”(Vol. 1:179)。更为复杂的内部关系体系的建立就是人们内部关系对外部关系的连续不断地调整过程。Spencer所说的关系与联结主义中的联结具有许多相通之处。
对于智力的发展,Spencer首先提出了智力定义中的物质因素,即内部关系和外部关系的对应。外部事件被分化成为有次序的意识状态,从而导致了智力的增长,因此,身体状态的变化可以直接与外部次序的变化相关联。由于内部与外部事件之间的对应随着时间的延续是无数的,Spencer认为,我们不能对于这一系列的变化找出规律,但是,我们应该对于那些即时的联结的变化发现规律。Spencer还认为内部状态和外部事件之间的联结强度是很重要的,换而言之,关于世界的正确知识被编码而储存在大脑的联结之中的。Spencer关于大脑功能定位的观点也反映了联结主义的思想。他赞成大脑功能定位的看法,认为功能的定位是“所有组织的法则”(Vol. 1:571),但是他不赞成当时颅相学所主张的大脑皮层的各个区域都具有明确的功能的定位,认为大脑功能的定位具有分布表征(distributed representation)的特点,某个大脑皮层的区域相当于一个网络,每个网络的功能都是一种“扩散式的定位”(Vol. 1:362),不同网络之间相互交叉与重叠(Vol. 1:574),由于表征的差别而需要由不同的神经细胞的组合协同完成。这类似与钢琴的工作原理,不同的键和不同音色的组合会产生无数的声音类型(Vol. 1:562-563)。
3.2 James的关联记忆模式
继Spencer之后,James在1890年也出版了一个《心理学原理》,并成为心理学界最具影响的教材之一。James把对心理思想的分析等同于对于神经功能的分析。他指出,“在两种分析之间存在着完全平行的关系,由小点、圆圈和由线连成的三角形所都成的图形可以同样地表示大脑和信息的过程,点代表神经细胞或者思想,线条代表着神经纤维或者关联”(p. 30)。
James的理论中联结主义最为突出的是他的关联记忆模式。根据该模型,各个思想之间相互联结,对一个思想的回忆很可能会引起对与此相连的其他思想的回忆。因此,激活事件A及其组成部分a, b, c, d和e(例如参加宴会)可以会引起对于事件B以及组成部分l, m, n, o, p的激活(例如在宴会结束后回家的经历)。James意识到,这样的激活方式有可能会导致“在思想中对于过去一连串经历的全部内容的复原”(p. 570)。为了避免这种完全回忆现象的产生,他提出了兴趣原则,指出“在唤醒其他位置的行动方面,某个大脑处理过程总是要比它的伴随过程居于优势”(p. 572)。因此,大脑中的不同联结的作用并不是等同的。James提出了神经习惯的规律,认为“当两个基本的大脑处理过程同时或者先后紧接处于活跃的状态,那么其中之一会把其兴奋传播给另一个”(p. 534)。也就是说,当两个事件反复发生时,与此相关的大脑处理过程之间的联结就会加强。James的关联记忆模式对于后来Hebb(1949)的学习理论产生了重要的影响。
3.3 Thorndike的联结主义学习理论
Thorndike是James的学生,他继承了James的许多思想,被视为第一个真正的联结主义者(Medler,1998: 68),他的关于学习基础的计算模式的描述(1932)大多使用联结主义的语言进行的。
Thorndike对行为主义学派的影响主要来源于他对小鸡、小猫研究的结果。他总结为,学习理论中最为突出的问题有三个:第一,当同样的情形或者刺激反复地作用于某一机制时,会有什么现象发生?仅仅是经验的频率会产生有用的变化吗?第二,当同一联结反复出现时,会有什么现象发生?第三,奖赏与惩罚对于联结的影响是什么?这一影响是如何发挥作用的?为了回答这些问题,Thorndike(1932)提出了三条重要的学习原则:第一是准备原则,指学习者在学习开始时的预备定势。学习者有准备而又给以活动就感到满意,有准备而不活动则感到烦恼,学习者无准备而强制以活动也感到烦恼。第二是练习原则(law of exercise),指一个学会了的反应的重复将增加刺激反应之间的联结。也就是S-R联结受到练习和使用得越多,就变得越来越强,反之,变得越弱。在他后来的著作中,他修改了这一规律,因为他发现没有奖励的练习是无效的,联结只有通过有奖励的练习才能增强。第三是效果原则(law of effect),如果一个动作跟随着情境中一个满意的变化,在类似的情境中这个动作重复的可能性将增加,但是,如果跟随的是一个不满意的变化,这个行为重复的可能性将减少。可见一个人当前行为的后果对决定他未来的行为起着关键的作用。在刺激与反应之间形成可改变的联结,给以满意的后果联结就增强,给以不满意的后果联结就减弱。这三个原则与今天联结主义模型中的受监控的学习技术(例如错误的反向传播)的原理非常相似。
3.4 Hull的学习规则
Hull在1943年出版了《行为的原则》一书,并力图通过对神经活动的摩尔水平的描述解释行为的规律。Hull指出,习惯形成过程中的组织结构隐藏在复杂的神经系统之内,推断习惯强度的唯一途径就是主义导致习惯形成的先行条件和这一条件的后续行为之间的关联,因此,习惯强度是无法通过直接的观察而确定的,接收器—受动器(receptoreffector)之间的联结强度只能通过间接的测量与观察而得到。Hull所提出的学习规则对于后来的联结主义,尤其是其中的学习问题的研究,产生了很大的影响。例如,后来的Widrow-Hoff规则(Widrow & Hoff,1960)和Rescorla-Wagner规则(Rescorla and Wagner,1972)都与Hull所提出的公式具有很多共同之处。另外,这一公式认为是神经网络中反向传播的一般德尔它规则(generalized delta rule)的最初形式(Medler,1998)。
四、联结主义的神经生理学根源
联结主义模型的直接起源于神经生理学,因此,研究联结主义的历史演变势必要探讨神经生理学对于它的影响,许多神经生理学家开始研究学习与记忆的神经关联,其中Lashley和Hebb对联结主义的形成与发展的影响最为突出。
4.1 Lashley对于记忆痕迹的探索
Lashley从20世纪20年代开始对于记忆痕迹的研究,他通过训练动物完成一些具体任务(例如,亮度的识别、迷宫中定向等),并在训练之前或之后损伤动物的大脑皮层的具体部位,并记录这些损伤对于动物知识的获得与保持所产生的影响。他(1950)把30年研究的发现总结为两个原则:第一,潜能相等原则(The Equipotentiality Principle),所有的大脑皮层区域在学习方面可以相互替代;第二,群体行动原则(The Mass Action Principle),学习衰退与被破坏的组织的量成正比,被衰减的学习任务越复杂,受损伤组织的量就越大。Lashley认为,学习是一种分布式的过程,可以在大脑的一个特点的区域被分离出来,大脑损伤的部位并不重要,重要的是受损伤组织的量,它决定着行为分离的程度。
4.2 Hebb的学习理论
Hebb是Lashley的学生,他在1949年出版了《行为的组织》一书,并根据神经系统的生理基础提出了一种行为理论。在联结主义理论中,Hebb假设称为一种无监控训练运算法则,如果源细胞和目标细胞同时处于激活状态,那么突触的联结强度(权重)就会增加;与此相反,如果源细胞和目标细胞同时处于不活跃的状态,那么突触的联结强度就会降低,Hebb的学习模式可以用下列公式表示:
Wij(t+1)=Wij(t) + netinetj
其中,Wij(t)表示在时间点t细胞i和细胞j之间突触的联结强度,而Wij(t+1)则表示细胞i和细胞j之间在时间点t之后一个时间点的突触联结强度,neti是源细胞的激活,而netj则是目标细胞的激活。尽管这一公式存在许多的局限性(Medler,1998),但是现在许多的学习公式都是在此基础上建立起来的(Wasserman,1989)。
五、联结主义的数学根源
联结主义模型的建立中涉及许多计算公式的设计,因此,联结主义的发展势必也会受到数学研究的影响。在数学领域中,对联结主义影响最大的当数McCulloch和Pitts。他们(1943)“神经活动内在思想的逻辑演算”一文在命题逻辑方面为神经模型的建立奠定了基础,其中,他们提出了神经细胞的活动的五种功能特性:第一,神经细胞的活动是一种“非有既无”(all-or-none)的过程;第二,为了能够在任何时间激活一个细胞,在潜加作用(latent addition)阶段必须要有固定数量的突触被激活,这一数量取决于细胞先前的活动和位置;第三,神经系统种唯一的显著延迟是突触延迟;第四,抑制突触的活动能防止当时细胞的激活;第五,网络的结构不会随着时间的改变而改变。利用上述原则,McCulloch和Pitts认为,命题逻辑都可以采用简单处理单位的网络来表示,另外,这样的网络通用图灵机的计算能力。因为所有的信息处理都具有图灵机的特点,因此可以假定人类的认知也同样具有图灵机的特性。
结语
任何一种学术思想的产生与发展都不是偶然的,往往都要经历一个萌芽、成长与成熟的过程,联结主义思想的发展过程也符合这一规律。联结主义力图根据人的大脑神经机制,建立人的认知过程的计算模型,因此,它的形成势必要受到一些相关学科理论的影响。在本文中,我们对联结主义的形成过程中的哲学、心理学、神经生理学,以及数学根源进行了探讨。这些思想对联结主义产生了深远的影响,成为20世纪60年代之前联结主义思想的主要理论基础,并使之成为与符号主义并列的认知理论,对相关领域的研究起着重要的推动作用。
参考文献
1.Aune,B.1970.Rationalism,Empiricism,and Pragmatism:An Introduction[M].New York:Random House.
2. Bever, T. G., Fodor, J. A. & Garrett, M. 1968. A formal limitation of associationism [A]. In: Dixon, T. R. and Horton,D.L.(eds.)Verbal Behavior and General Behavior Theory[C].Englewood Cliffs,NJ:Prentice-Hall:582-585.
3. Fodor, J. A. & Pylyshyn, A. W. 1988. Connectionism and cognitive architecture: A critical analysis [J]. Cognition 28:3-71.
4.Hebb,D.O.1949.The Organization of Behaviour[M].New York:John Wiley&Sons.
5.Hull,C.L.1943.Principles of Behavior[M].New York:Appleton-Century-Crofts.
6.James,W.1890.Principles of Psychology[M].New York:Holt.
7.Lashley,K.1950.In search of the engram[J].Symposia of the Society for Experimental Biology 4:454-482.
8.Pavlov,I.P.1927.Conditioned Reflexes:An Investigation of the Physiological Activity of the Cerebral Cortex [M]. New York: Dover.
9.Spencer,H.1855.The Principles of Psychology[M].New York:D.Appleton and Company.
10.Thorndike, E. L. 1932. The Fundamentals of Learning [M]. New York: Teachers College, Columbia University.
11.贾林祥.2006.联结主义认知心理学[M].上海:上海教育出版社.
12.叶浩生,贾林祥.2003.西方心理学研究新进展[M].北京:人民教育出版社.