交叉熵（Cross Entropy）损失函数

交叉熵（Cross Entropy）损失函数是一种常用的损失函数，广泛应用于分类问题中，尤其是二分类问题和多分类问题。

假设有 $N$ 个样本，每个样本有 $C$ 个类别，$y_i\in \{0,1{\}}^C$ 表示第 $i$ 个样本的真实标签（one-hot编码），$\widehat{y_i}\in [0,1{]}^C$ 表示神经网络对第 $i$ 个样本的预测标签（对应于各个类别的概率值），则交叉熵损失函数可以表示为：

$J(\theta )=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^C{y}_{i,j}\log \widehat{y_{i,j}}$

其中，$N$ 是样本总数，$\theta$ 是神经网络模型的参数，$y_{i,j}$ 表示第 $i$ 个样本的第 $j$ 个元素。交叉熵损失函数的直观理解是计算神经网络预测的标签分布与真实标签分布之间的距离。在神经网络的训练过程中，交叉熵损失越小，表示神经网络的预测结果与真实结果的误差越小。

对于二分类问题，交叉熵损失函数的表达式可以简化为：

$J(\theta )=-\frac{1}{N}\sum _{i=1}^N[y_i\log \widehat{y_i}+(1-y_i)\log (1-\widehat{y_i})]$

其中，$y_i\in \{0,1\}$ 表示第 $i$ 个样本的真实标签，$\widehat{y_i}\in [0,1]$ 表示神经网络对第 $i$ 个样本的预测标签。