1.3 实现前向传播

为了对前向传播的工作原理有一个深入的了解，我们训练一个简单的神经网络，其中神经网络的输入是（1，1），对应的（期望）输出是0。这里将基于这个单一的输入-输出对找到神经网络的最优权重。然而，你应该注意到，事实上将有成千上万的数据点用于训练ANN。

本例中的神经网络架构包含一个具有三个节点的隐藏层，如图1-8所示。

图1-8

图1-8中每个箭头都包含一个可调的浮点值（权重）。我们需要找到9个浮点数（第一个隐藏层有6个，第二个隐藏层有3个），因此当输入是（1，1）时，输出尽可能接近（0）。这就是所谓的神经网络训练。为了简单起见，这里没有引入偏置项，但是基本的运算逻辑是一样的。

下面我们将学习下列内容：

❍ 计算隐藏层的值；

❍ 进行非线性激活；

❍ 估算输出层的值；

❍ 计算与期望值对应的损失值。