2.5 本章小结

本章希望读者能够在无须了解任何机器学习框架和相关数学背景的前提下，从代码入手，直接用最基本的Python代码来实现简单的单层网络，完成机器学习的分类和预测。

本章从最简单的感知器原理讲起，用Python实现了感知器分类，然后迅速进入对线性分类的概念介绍中，用图示阐述基于机器学习分类的基本原理，并引入了两个关键概念：损失函数与梯度下降；随后用实际的Python代码实现线性回归算法，展示了梯度下降的具体实现过程，并引入随机梯度下降和mini batch的概念，通过代码表现了如何对全量数据训练进行优化；最后从单神经元感知器的实现进化到完整神经网络的设计和开发，通过实现包含一个隐藏层的完整神经网络代码，将本章的概念结合起来，以坐标点的分类为例，使用纯Python代码实现了包括前向传播、反向传播、链式法则和权重更新，并可自定义隐藏层的神经元个数的一个灵活的全连接神经网络。在此之上，我们通过实验对比了增加网络宽度和深度的实际效果，并做了简单的分析和对比，引出了深度神经网络的概念。