Softmax函数交叉熵及其求导

1. 简介

---

$Softmax$ 函数

$Softmax$ 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个$R^4$ 维度的向量，来进行分类，例如输出层为向量 $O=[0.2,0.1,0.4,0.3]$, 可根据向量中元素大小（元素之和为1）来判断该输入（可以是图片，也可以是文字）属于哪一类，而在这种分类的情况中，$Softmax$ 函数就起到了十分重要的作用。

$Softmax$ 函数的公式为：$a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$

其中，$a_i$ 为第 $i$ 个神经元经过$Softmax$ 函数得到的值，$z_i$ 为第 $i$ 个神经元的输出值，其计算公式为 $ z_{i}=W_{i}*x+ b $ $(W_{i}为权重矩阵W_{ij} 的第i行)。 $

代价函数交叉熵

为了计算损失函数，我们使用交叉熵代价函数，有 $Loss=-{\sum }_i^n{y}_{i}log{a}_i$

其中 $y_i$ 代表第$a_i$ 个输出的真实值。

2. Softmax函数交叉熵的求导

---

1）
对于Softmax函数的求导，用得最多的应该是链式法则，对于链式法则，举个例子如下：

设我们有函数 $g(f(x))$, 则$\frac{\partial g(f(x))}{\partial x}=\frac{\partial g(f(x))}{\partial f(x)}$$\frac{\partial f(x)}{\partial x}$， 这就是链式法则。

2）
对于交叉熵函数求导，首先，我们要求导的是交叉熵对神经元输出的梯度： $\frac{\partial L}{\partial z_i}$

根据链式法则，我们有：$\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_j}$$\frac{\partial a_j}{\partial z_i}$

其中, 使用 $a_j$ 是因为对$Softmax$函数包含了所有神经网络输出的和，即 $a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$，所以，就算我们不是求交叉熵对$a_j$的梯度，但是$a_j$依旧包含了$a_i$ 的元素。

总的来说就是，由于$Softmax$ 函数的特殊性，对于$a_j$ 第$j$个神经元的输出，其中也包含了$a_i$ 中的元素。

3）
对于求 $\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_j}$$\frac{\partial a_j}{\partial z_i}$ ，可先求其前半部分 $\frac{\partial L}{\partial a_j}$：

$\frac{\partial L}{\partial a_j}=\frac{\partial (-{\sum }_j^n{y}_{j}log{a}_j)}{\partial a_j}=-{\sum }_j^n\frac{y_j}{a_j}$

当$j=i$ 时，$\frac{\partial L}{\partial a_i}=-\frac{y_i}{a_i}$
当$j̸=i$时，$\frac{\partial L}{\partial a_j}=-{\sum }_{j̸=i}^n\frac{y_j}{a_j}$

（4）

公式 $\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_j}$$\frac{\partial a_j}{\partial z_i}$ 的第二部分: $\frac{\partial a_j}{\partial z_i}$ , 需要分俩种情况讨论，即 $j=i$ 和 $j̸=i$ 俩种情况。

对于 $j=i$,

$$\frac{\partial a_i}{\partial z_i}=\frac{\partial \frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}}{\partial z_i}=\frac{e^{z_i}{\sum }_{j=1}^n{e}^{z_j}-(e^{z_i}{)}^2}{({\sum }_{j=1}^n{e}^{z_j}{)}^2}=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}-(\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}{)}^2=a_i-a_i^2=a_i(1-a_i)$$

对于 $j̸=i,$

$$\frac{\partial a_j}{\partial z_i}=\frac{\partial \frac{e^{z_j}}{{\sum }_{j=1}^n{e}^{z_j}}}{\partial z_i}=\frac{-e^{z_j}{e}^{z_i}}{({\sum }_{j=1}^n{e}^{z_j}{)}^2}=-\frac{e^{z_j}}{{\sum }_{j=1}^n{e}^{z_j}}\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}=-a_j{a}_i$$

因此，对于第二部分的求导，我们有 $\frac{\partial a_j}{\partial z_i}=a_i(1-a_i)+{\sum }_{j̸=i}^n-a_j{a}_i$

5）
则对于$\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_j}$$\frac{\partial a_j}{\partial z_i}$，我们有：

$\frac{\partial{L}}{\partial{z_{i}}} $

$=\frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_i}$

$= -\frac{y_{i}}{a_{i}}(a_{i}(1-a_{i})) + \sum^{n}{j \neq i}\frac{y{j}}{a_{j}}a_{j}a_{i} $

$=-y_i(1-a_i)+{\sum }_{j̸=i}^n{y}_j{a}_i$

$ = -y_{i}+a_{i}y_{i}+\sum^{n}{j \neq i}y{j}a_{i}$

$=-y_i+a_i{\sum }_{j=1}^n{y}_j$

由于对真实值，我们知道 $y_j$ 为第$i$个神经元期望输出的值，一般而言，${\sum }_{j=1}^n{y}_j=1$, 故对于这种通过 $Softmax$函数的输出来确定其分类的，只有一个类别会是1，因此有代价函数对第$i$个神经元的输出 $z_i$ 的梯度为：
$$\frac{\partial L}{\partial z_i}=-y_i+a_i$$