Softmax公式及梯度计算

softmax是一个多分类器，可以计算预测对象属于各个类别的概率。

公式

$$y_i=S(\mathbf{z}{)}_i=\frac{e^{z_i}}{{\sum }_{j=1}^C{e}^{z_j}}，i=1,...,C$$

• $\mathbf{z}$是上一层的输出，softmax的输入， 维度为$C$
• $y_i$为预测对象属于第$c$类的概率

梯度

变量间的计算图如上，已知$\mathbf{y}$的梯度$\frac{\partial l}{\partial y_i},i=1,...,C$，要计算$\mathbf{z}$的梯度$\frac{\partial l}{\partial z_j},j=1,...,C$

从计算图中可以看到，$\mathbf{z}$的分量$z_j$对$\mathbf{y}$的每一个分量都有贡献，因此：
$$\frac{\partial l}{\partial z_j}=\sum _{i=1}^C\frac{\partial l}{\partial y_i}\frac{\partial y_i}{\partial z_j}$$

由于$\frac{\partial l}{\partial y_i}$已知，因此计算$\frac{\partial y_i}{\partial z_j}$即可！

为方便记${\sum }_{j=1}^C{e}^{z_j}$为${\sum }_C$

（1）$i=j$时：
$$\begin{array}{rl}\frac{\partial y_i}{\partial z_j}& =\frac{e^{z_i}{\sum }_C-e^{z_i}{e}^{z_i}}{{{\sum }_C}^2}\\ & =\frac{e^{z_i}}{{\sum }_C}-{\frac{e_{z_i}}{{\sum }_C}}^2\\ & =y_i-y_i^2\\ & =y_i(1-y_i)\end{array}$$
（2）$i̸=j$
$$\begin{array}{rl}\frac{\partial y_i}{\partial z_j}& =\frac{0{\sum }_C-e^{z_i}{e}^{z_j}}{{{\sum }_C}^2}\\ & =-\frac{e_{z_i}}{{\sum }_C}\frac{e_{z_j}}{{\sum }_C}\\ & =-y_i{y}_j\end{array}$$