交叉熵损失(Cross Entropy)求导

Cross Entropy是分类问题中常见的一种损失函数，我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用，下面解释一下交叉熵损失的求导。
首先一个模型的最后一层神经元的输出记为$f_0...f_i$，
输出经过softmax激活之后记为$p_0...p_i$，那么：
$$p_i=\frac{e^{f_i}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}$$
类别的实际标签记为$y_0...y_i$，那么交叉熵损失L为：
$$L=-\sum _{i=0}^{C-1}{y}_{i}lo{g}^{p_i}$$
上式中的$log$是一种简写，为了后续的求导方便，一般我们认为$log$的底是$e$，即$log$为$ln$。
那么$L$对第$i$个神经元的输出$f_i$求偏导$\frac{\partial L}{\partial f_i}$:
根据复合函数求导原则：
$$\frac{\partial L}{\partial f_i}=\sum _{j=0}^{C-1}\frac{\partial L_j}{\partial p_j}\frac{\partial p_j}{\partial f_i}$$
在这里需要说明，在softmax中我们使用了下标$i$和$k$，在交叉熵中使用了下标$i$，但是这里的两个$i$并不等价，因为softmax的分母中包含了每个神经元的输出$f$，也就是激活后所有的$p$对任意的$f_i$求偏导都不为0，同时$L$中又包含了所有的$p$，所以为了避免重复我们需要为$p$引入一个新的下标$j$，$j$有$0...C-1$这C种情况。
那么依次求导：

$$\frac{\partial L_j}{\partial p_j}=\frac{\partial (-y_{j}lo{g}^{p_j})}{\partial (p_j)}$$

由于默认一般我们认为$log$的底是$e$，即$log$为$ln$，所以：

$$\frac{\partial L_j}{\partial p_j}=\frac{\partial (-y_{j}lo{g}^{p_j})}{\partial (p_j)}=-\frac{y_j}{p_j}$$

接着要求$\frac{\partial p_j}{\partial f_i}$的值，在这里可以发现，每一个$p_j$中都包含$f_i$，所以$\frac{\partial p_j}{\partial f_i}$都不是0，但是$j=i$和$j\ne i$的时候，$\frac{\partial p_j}{\partial f_i}$结果又不相同，所以这里需要分开讨论：

• 首先$j=i$时：
  $$\frac{\partial p_j}{\partial f_i}=\frac{\partial p_i}{\partial f_i}=\frac{\partial \frac{e^{f_i}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}}{\partial f_i}$$
  $$=\frac{(e^{f_i}{)}^{\prime }{\sum }_{k=0}^{C-1}{e}^{f_k}-e^{f_i}({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^{\prime }}{({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^2}$$
  $$=\frac{e^{f_i}{\sum }_{k=0}^{C-1}{e}^{f_k}-(e^{f_i}{)}^2}{({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^2}=\frac{e^{f_i}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}-(\frac{e^{f_i}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}{)}^2$$
  $$=p_i-(pi{)}^2=p_i(1-p_i)$$

• 然后$j\ne i$时：
  $$\frac{\partial p_j}{\partial f_i}=\frac{\partial \frac{e^{f_j}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}}{\partial f_i}$$
  $$=\frac{(e^{f_j}{)}^{\prime }{\sum }_{k=0}^{C-1}{e}^{f_k}-e^{f_j}({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^{\prime }}{({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^2}$$
  $$=\frac{-e^{f_i}{e}^{f_j}}{({\sum }_{k=0}^{C-1}{e}^{f_k}{)}^2}=-\frac{e^{f_i}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}\frac{e^{f_j}}{{\sum }_{k=0}^{C-1}{e}^{f_k}}$$
  $$=-p_i{p}_j$$

对于最后的偏导数，需要把上述两个部分加起来：
$$\frac{\partial L}{\partial f_i}=\sum _{j=i}^{C-1}\frac{\partial L_j}{\partial p_j}\frac{\partial p_j}{\partial f_i}+\sum _{j\ne i}^{C-1}\frac{\partial L_j}{\partial p_j}\frac{\partial p_j}{\partial f_i}$$
$$=-\frac{y_i}{p_i}{p}_i(1-p_i)+\sum _{j\ne i}^{C-1}-p_i{p}_j(-\frac{y_j}{p_j})$$
$$=-y_i(1-p_i)+\sum _{j\ne i}^{C-1}{p}_i{y}_j$$
$$=y_i{p}_i-y_i+\sum _{j\ne i}^{C-1}{p}_i{y}_j$$

在上式中，$j\ne i$的情况中刚好缺了$j=i$，所以可以继续改写为：
$$=\sum _{j=0}^{C-1}{p}_i{y}_j-y_i$$
$$=p_i\sum _{j=0}^{C-1}{y}_j-y_i$$
而${\sum }_{j=0}^{C-1}{y}_j=1$，所以：
$$=p_i\sum _{j=0}^{C-1}{y}_j-y_i=p_i-y_i$$