交叉熵的反向传播梯度推导（使用softmax激活函数）

1. 多分类问题的交叉熵

设标签$y_k=1$，也即$x_k$对应的第$k$类的标签为1，则交叉熵损失函数为：
$$J=-\sum _{j=1}^N{y}_j\log a_j^L=-\log a_k^L\text{\hspace{1em}(1)}$$
其中$N$是分类的类别数目。

softmax激活函数的表达式为：
$$a_k^L=\frac{e^{z_k^L}}{\sum _{j=1}^N{e}^{z_j^L}}\text{\hspace{1em}(2)}$$

反向传播过程需要对每一个$z_j^L,j=1,2,\cdots ,N$求导数。

(1) 当$j=k$时：
$$\begin{array}{rl}\frac{\partial J}{\partial z_j^L}=\frac{\partial J}{\partial z_k^L}& =\frac{\partial J}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_k^L}\\ & =-\frac{1}{a_k^L}\frac{(e^{z_k^L})\sum _{j=1}^N{e}^{z_j^L}-e^{z_k^L}{e}^{z_k^L}}{(\sum _{j=1}^N{e}^{z_j^L{)}^2}}\\ & =-\frac{1}{a_k^L}{a}_k^L(1-a_k^L)\\ & =a_k^L-1\end{array}\text{\hspace{1em}(3)}$$

(2) 当 $j̸=k$时：
$$\begin{array}{rl}\frac{\partial J}{\partial z_j^L}& =\frac{\partial J}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_j^L}\\ & =-\frac{1}{a_k^L}\frac{0\ast \sum _{j=1}^N{e}^{z_j^L}-e^{z_k^L}{e}^{z_j^L}}{(\sum _{j=1}^N{e}^{z_j^L{)}^2}}\\ & =a_j^L\end{array}\text{\hspace{1em}(4)}$$

(3)和(4)式可以合并为：
$$\frac{\partial J}{\partial z_j^L}=a_j^L-y_j\text{\hspace{1em}(5)}$$
其中，只有当$j=k$时，$y_j=1$，其余的$y_j$都是0。

2. 二分类问题的交叉熵

二分类问题的交叉熵损失函数：
$$L=-(y\log a^L+(1-y)\log (1-a^L))\text{\hspace{1em}(6)}$$
则
$$\begin{array}{rl}\frac{\partial J}{\partial z^L}& =\frac{\partial J}{\partial a^L}\frac{\partial a^L}{\partial z^L}\\ & =(-\frac{y}{a^L}+\frac{1-y}{1-a^L})a^L(1-a^L)\\ & =-y(1-a^L)+(1-y)a^L\\ & =a^L-y\end{array}\text{\hspace{1em}(7)}$$

综合比较式(7)和式(5)，可以发现两者的形式是一致的。