softmax函数及交叉熵损失函数求导

1.softmax函数

使用softmax函数主要是为了解决多分类问题，在一个分类神经网络中，该函数能够将多个神经元的输出转换到（0,1）之间，可以当概率来理解，这样就可以取其中最大值当做被分到哪一类。
假设一组神经元的输出为$a[n]$，那么$p_i$就可以表示为：
$$p_i=\frac{e^{a_i}}{{\sum }_{j=1}^n{e}^{a_j}}$$
这里有个问题，这样的式子，由于存在指数函数，在计算中可能会出现不稳定情况（数据可能非常非常大）
所以一般我们计算过程中是做如下变换：
$$p_i=\frac{e^{a_i-max(a)}}{{\sum }_{j=1}^n{e}^{a_j-max(a)}}$$
因为
$$\frac{e^{a_i-max(a)}}{{\sum }_{j=1}^n{e}^{a_j-max(a)}}=\frac{e^{a_i}/e^{max(a)}}{{\sum }_{j=1}^n{e}^{a_j}/e^{max(a)}}=\frac{e^{a_i-max(a)}}{{\sum }_{j=1}^n{e}^{a_j-max(a)}}$$
这样就保证了数据不会计算出来太大。
计算过程图示（搬运）如下：

2.softmax函数相关求导

一般分类任务中，我们使用交叉熵损失函数：
$$C=-\sum _i^n{y}_i\ln p_i$$
然后我们要明确一下我们要求什么，我们要求的是我们的$loss$对于神经元输出$a_i$的梯度，即：
$$\frac{\partial C}{\partial a_i}$$
根据链式求导法则：
$$\frac{\partial C}{\partial a_i}=\frac{\partial C}{\partial p_j}\frac{\partial p_j}{\partial a_i}$$
其中$$\frac{\partial C}{\partial p_j}=\frac{\partial \left(-{\sum }_j^n{y}_j\ln p_j\right)}{\partial p_j}=-\sum _j^n{y}_j\frac{1}{p_j}$$
注意这里的$p_j$有两种情况，这两种情况的导数是不一样的。分别是：

1. j = i 时：$$\frac{\partial p_j}{\partial a_i}=\frac{\partial p_i}{\partial a_i}=\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^n{e}^{a_k}}}{\partial a_i}=\frac{e^{a_i}{\sum }_{k=1}^n{e}^{a_k}-e^{a_i}{e}^{a_i}}{({\sum }_{k=1}^n{e}^{a_k}{)}^2}=p_i-{p_i}^2$$
2. j ≠ i 时：$$\frac{\partial p_j}{\partial a_i}=\frac{\partial \frac{e^{a_j}}{{\sum }_{k=1}^n{e}^{a_k}}}{\partial a_i}=\frac{-e^{a_j}{e}^{a_i}}{({\sum }_{k=1}^n{e}^{a_k}{)}^2}=-p_j{p}_i$$

然后两种情况相加$$\frac{\partial C}{\partial a_i}=\left(-\sum _j{y}_j\frac{1}{p_j}\right)\frac{\partial p_j}{\partial a_i}=-\frac{y_i}{p_i}{p}_i\left(1-p_i\right)+\sum _{j≠=i}\frac{y_j}{p_j}{p}_i{p}_j=-y_i+y_i{p}_i+\sum _{j≠=i}{y}_j{p}_i=-y_i+p_i\sum _j{y}_j$$
因为$\sum y_i=1$，所以：
$$\frac{\partial C}{\partial a_i}=p_i-y_i$$

参考链接

[1] softmax函数详解与推导
[2] 简单易懂的softmax交叉熵损失函数求导