2.3.3 反馈网络

反馈网络（Recurrent Network）又称联想记忆网络，网络中的神经元不但可以接受其他神经元的信息，也可以接受自己的历史信息。与前馈网络（FeedForward Network）的区别在于它至少有一个反馈环，如图2-9所示，其中的反馈连接还可以是其他的形式。

图2-9 反馈网络

引入反馈的主要目的是解决非循环网络对上一次输出无记忆的问题。在非循环网络中，输出仅仅由当前的输入和权值矩阵决定，而和较前的计算无关。在反馈网络中，需要将输出送回输入端，从而使当前的输出受到上次输出的影响，进而又受到前一个输入的影响，如此形成一个迭代。也就是说，在这个迭代过程中，输入的原始信号被逐步加强、修复。

这种性能在一定程度上反映了人类大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。

反馈环的存在对网络的学习能力和性能有深刻的影响。当然，这种反馈信号会引起网络输出的不断变化。如果这种变化逐渐减小，并且最后消失，那么一般来说，这种变化就是所希望的变化。当变化最后消失时，称网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。