1.2.1 神经网络的诞生

模型提出阶段为1943—1969年，是神经网络发展的第一个高潮期。在此期间，科学家提出了许多神经元模型和学习规则。

1943年，心理学家McCulloch和数学家Pitts提出了一种基于简单逻辑运算的人工神经网络，这种神经网络模型称为M-P模型，由此拉开了人工神经网络研究的序幕。1948年，Alan Turing提出了一种“B型图灵机”，可以基于Hebbian法则进行学习。1951年，McCulloch和Pitts的学生Marvin Minsky建造了第一台神经网络机SNARC。1958年，Rosenblatt提出了一种可以模拟人类感知能力的神经网络模型，称为感知器（Perceptron），并提出了一种接近人类学习过程（迭代、试错）的学习算法。

在这一时期，神经网络以其独特的结构和处理信息的方法在许多实际应用领域（自动控制、模式识别等）取得了显著的成效。

神经网络在1969年进入长达十几年的冰河期，此段时间为1969—1983年，是神经网络发展的第一个低谷期。在此期间，神经网络的研究处于长年停滞及低潮状态。1969年，Marvin Minsky出版《感知器》一书，指出了神经网络的两个关键缺陷：一是感知器无法处理“异或”回路问题；二是当时的计算机无法支持处理大型神经网络所需的计算能力。这些论断使得人们对以感知器为代表的神经网络产生怀疑，并导致神经网络的研究进入了冰河期。

但在这一时期，依然有不少学者提出了很多有用的模型或算法。1974年，哈佛大学的Paul Werbos提出了反向传播（Back Propagation，BP）算法，但当时未受到应有的重视。1980年，福岛邦彦提出了一种带卷积和子采样操作的多层神经网络——新知机（Neocognitron）。新知机的提出受到了动物初级视皮层简单细胞和复杂细胞的感受野的启发，但新知机并没有采用反向传播算法，而是采用了无监督学习的方式来训练，因此也没有得到足够的重视。