softmax损失函数

假设共有 $K$ 个类别，第$i$ 个类别对应的得分为 $z_i$（可以理解为某个输入样本的第 个输出）。

softmax 模型的前向传播就是将输入的得分通过 softmax 运算，变成$K$ 个概率值。具体来说，就是先对每个得分取指数，再除以所有得分指数的和，最后得到的$K$ 个数值在 0 到 1 之间（即概率值），且它们的和等于 1。其数学表达式如下：
$\widehat{y_i}=softmax(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$

其中 $\widehat{y_i}$为模型对第 $i$ 个类别的预测值。

对于一个有标记的样本$(x,y)$ ，假设其正确的类别为第 $i$ 个（即 ）。则我们希望模型对该样本的预测值 $\widehat{y_i}$ 把概率值尽可能地靠近 1，而把其他类别的概率值尽可能地靠近 0。

那么我们可以设计一个交叉熵损失函数来量化模型的预测值和真实值之间的误差。交叉熵可以理解为两个分布之间的距离度量，它在分类问题中被广泛应用。

具体来说，该损失函数可以表示为：$L(y,z)=-{\sum }_{j=1}^K{y}_j\log \widehat{y_j}$

其中$y$ 为一个一维的 $K$ 维向量，对于正确的类别 $i$ 位置上的值为 1，其他位置上的值为 0。 $\widehat{y_i}$为 softmax 函数的结果。

对于所有的样本，我们希望整个模型的损失函数取到最小值。因此，我们可以对模型的所有参数（包括权重和偏置）进行梯度下降求解。

最终，我们的目标就是通过不断地迭代训练数据，让模型的 softmax 计算得到的概率值尽可能地接近真实标记，而并不是最大化概率值。因此，我们会使用交叉熵损失函数来约束模型的参数学习过程。