3.5　损失函数

当训练一个神经网络时，通常使用损失函数来衡量该网络输出的预测值与真实值之间的误差大小，并根据误差对网络进行反向优化。神经网络训练的目的是减少误差，提高预测准确度。因此，理想的输出状态是损失函数最小值的输出。本节将介绍两种损失函数：均方差函数和交叉熵函数。

3.5.1　均方差函数

均方差是均值平方差（Mean Squared Error，MSE）的简称，是指参数预测值与参数真实值之差平方的预期值。公式如下：

其中，f(x_i)是预测值，y_i是对应的真实值。假设误差是正态分布，均方差更适用于线性分类问题，如回归问题。

3.5.2　交叉熵函数

交叉熵损失（Cross Entropy Loss）主要用于度量两个概率分布的差异性程度。公式如下：

其中，y_i是真实概率分布，是预测概率分布。假设误差是二值分布，可以视为预测概率分布和真实概率分布的相似程度。交叉熵损失函数更适用于分类问题。