2.4 神经网络的学习方法
人工神经网络最具有吸引力的特点是其学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它能够表达的任何东西。但是，人工神经网络的表达能力是有限的，这就极大地限制了它的学习能力。
人工神经网络的学习过程就是对它的训练过程。所谓训练，就是指在将由样本向量构成的样本集合（简称样本集、训练集）输入人工神经网络的过程中，按照一定的方式调整神经元之间的连接权，使得网络能将样本集的内涵以连接权值矩阵的方式存储起来，从而使得网络在接受输入时可以给出适当的输出。
从学习的高级形式来看，一种是监督学习，另一种是无监督学习，而前者看起来更为普遍。监督学习和无监督学习网络的运行一般分为训练阶段与工作阶段。训练阶段的目的是从训练数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用。
可以认为，一个神经元就是一个自适应单元，其权值可以根据它所接收的输入信号、输出信号及对应的监督信号进行调整。日本著名神经网络学者Amari于1990年提出了一种神经网络权值调整的通用学习规则，该规则的图解表示如图2-11所示。在图2-11中，神经元j是神经网络中的某个节点，其输入用向量X表示，该输入可以来自网络外部，也可以来自其他神经元的输出；第i个输入与神经元j的连接权值用wij表示，连接到神经元j的全部权值构成了权向量Wj，其中，该神经元的阈值Tj=w0j，对应的输入分量x0恒为-1。通用学习规则的数学表达式为
其中，r（Wj，X，dj）为学习信号；dj为导师信号；η为正数，称为学习常数，其值决定了学习率。式（2-28）表明，权向量Wj在t时刻的调整量ΔWj与t时刻的输入向量X（t）和学习信号r的乘积成正比。当基于离散时间调整时，下一时刻的权向量应为
不同的学习规则对r（Wj，X，dj）有不同的定义，从而形成不同的神经网络。
图2-11 权值调整的图解表示