Softmax和Cross Entropy Loss在分类问题中的作用

  本文以三分类神经网络为例，讲解Softmax和Cross Entropy Loss在分类问题中的作用。

  首先，对类别标签进行一位有效编码：

$$y=[y_1,y_2,y_3{]}^T$$

$$y_i=\{\begin{array}{ccc}1,& if(i=y)& \\ 0,& otherwise& \end{array}$$

(假设对于猫、狗、马三分类问题，有一张猫的图片，它的标签为$y=[1,0,0]$；有一张狗的图片，它的标签为$y=[0,1,0]$；有一张马的图片，它的标签为$y=[0,0,1]$)

  其次，对输出值$O=[o_1,o_2,o_3]$进行Softmax运算，输出匹配概率（非负，和为1）：

$$\hat{y}=softmax(o)$$

$${\hat{y}}_i=\frac{exp(o_i)}{{\sum }_{k=1}^{n}exp(o_k)}$$

(本文为$3$分类，所以上式中的$n=3$，将猫的图片输入网络，输出结果可能为$\hat{y}=[0.6,0.15,0.25]$；将狗的图片输入网络，输出结果可能为$\hat{y}=[0.15,0.6,0.25]$；将马的图片输入网络，输出结果可能为$\hat{y}=[0.15,0.25,0.6]$)

  然后，对真实值$y$和输出值$\hat{y}$做Cross Entropy Loss（交叉熵损失）计算，将其作为损失值：

$$l(y,\hat{y})=-\sum _{i=1}^n{y}_{i}log{\hat{y}}_i=-log{\hat{y}}_y$$

(由于真实值$y$是一个一位有效编码的向量，即只在真实类别处的值为$1$，其余类别处的值为$0$，所以上述交叉熵损失计算可简化为：某个类别的损失值 $=$ 输出值$\hat{y}$中该类别对应概率值的$-log$值。即在分类问题中，不关心非正确类的预测值，只关心正确类的预测值)