3.5 本章小结

神经网络起源于最简单的感知器，它只包含一个神经元，只能输出0或1，用来模拟生物神经元的抑制和激活状态，无法完成复杂的任务。为了实现更加复杂的非线性功能，研究人员将非线性激活函数引入神经元，然后通过叠加多层神经元搭建神经网络，根据信息在神经网络中的传递方向又可以将神经网络分为前馈神经网络和循环神经网络。通过搭建合适的神经网络构架，训练神经网络参数矩阵，可以使神经网络完成指定的高级任务。在神经网络训练之前，需要对神经网络进行权重和偏置初始化，在神经网络训练过程中，可以采用合适的损失函数和参数更新方式，通过反向传播来逐渐优化神经网络参数矩阵，得到更好的效果。另外还可以采用批归一化和合适的正则化手段来降低神经网络训练难度，优化神经网络效果。目前常见的神经元模型主要有空间信息处理单元、RNN神经元和LSTM神经元。