sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程

一、交叉熵损失函数

1、离散变量$i$的概率分布为$P(i)$，熵的公式：$$Entropy=-\sum _{i}P(i)logP(i)$$
2、连续变量$x$的概率分布为$P(x)$，熵的公式：$$Entropy=-\int P(x)logP(x)dx$$
3、交叉熵：主要度量两个概率分布间的差异性信息：$$H(P,Q)=-\sum _{i=0}^{N}P(x)logQ(x)$$

1）二分类

共$N$个样本，总$Loss$值为所有样本的$Los{s}^{(i)}$均值：$$Loss=\frac{1}{N}\sum _{i=1}^{N}Los{s}^{(i)}$$$$Los{s}^{(i)}=-[y^{(i)}\ast log({\hat{y}}^{(i)})+(1-y^{(i)})\ast log(1-{\hat{y}}^{(i)})]$$单个样本$Los{s}^{(i)}$计算过程如上所示。要注意区分$y^{(i)}$以及${\hat{y}}^{(i)}$：$y^{(i)}$是真实的标签，只能取值0或1。${\hat{y}}^{(i)}$是经过$sigmoid$函数预测出的概率。

2）多分类

共$N$个样本，总$Loss$值为所有样本的$Los{s}^{(i)}$均值：$$Loss=\frac{1}{N}\sum _{i=1}^{N}Los{s}^{(i)}$$$$Los{s}^{(i)}=-\sum _{k=1}^q{y}_k^{(i)}\ast log({\hat{y}}_k^{(i)})$$单个样本$Los{s}^{(i)}$计算过程如上所示。要注意区分$y_k^{(i)}$以及${\hat{y}}_k^{(i)}$：$y_k^{(i)}$是真实的标签对应类别，是第$k$类就取值为1，否则为0，会有很多项为0被屏蔽掉不参与计算。
${\hat{y}}_k^{(i)}$是经过$softmax$函数预测出的概率。也就是说，交叉熵损失函数只关心正确标签对应的概率取值为多少，这个概率值越大，就越能保证能够正确分类结果。

3）分类问题为什么用交叉熵损失函数而不是MSE？

1、MSE无差别地关注全部类别上预测概率和真实概率的差；交叉熵关注的是正确类别的预测概率
2、涉及反向求导过程。
MSE因为线性变换之后要套一层sigmoid激活函数，反向求导的时候，开始回趋于0，学习速率非常慢，甚至可能梯度消失。
交叉熵损失函数最后参数求导结果只与(预测值-真实值)*样本值有关。

4）MSE和交叉熵损失函数分别适合什么场景？

MSE：适合输出为连续、并且最后一层不含Sigmoid、Softmax激活函数的神经网络。
交叉熵损失函数：适合二分类、多分类的场景。