softmax溢出问题

softmax函数是深度学习常用的输出函数，它的表达式如下：
$$\widehat{y_j}=\frac{e^{x_j}}{{\sum }_{i=1}^n{e}^{x_i}}$$

上溢及下溢

但是如果 $x_j$ 是一个很大的数，那么 $e^{x_j}$ 可能会大于数据类型容许的最大数字，造成上溢，这将使分母或分子变为 $inf$， 最后得到的是0、$inf$ 或 $nan$ 的 $\widehat{y_j}$。

解决这个问题的一个方法是，在计算softmax之前，先让所有的 $x_i$ 都先减去 $x^{\ast }=\text{max}(x_i)$，容易证明这个更改不会改变softmax的返回值：
$$\begin{array}{rl}\widehat{y_j}& =\frac{e^{x_j-x^{\ast }}{e}^{x^{\ast }}}{{\sum }_{i=1}^n{e}^{x_i-x^{\ast }}{e}^{x^{\ast }}}\\ & =\frac{e^{x_j-x^{\ast }}}{{\sum }_{i=1}^n{e}^{x_i-x^{\ast }}}\end{array}$$

这样解决了上溢的问题，但是依然可能存在一些具有较大负值的 $x_j-x^{\ast }$，使得 $\widehat{y_j}$ 趋于零，造成下溢，这会使得 $\text{log}(\widehat{y_j})$ 的值为 $-inf$。而反向传播几步之后，依然会面临 $nan$ 的问题。

softmax交叉熵损失

由于softmax一般用于分类问题，而最终需要计算交叉熵损失：
$$Loss=\sum y_j\text{log}(\widehat{y_j})$$

其中 $y_j$ 取0或1，因此只需要计算 $\text{log}(\widehat{y_j})$：
$$\begin{array}{rl}\text{log}(\widehat{y_j})& =\text{log}(\frac{e^{x_j-x^{\ast }}}{{\sum }_{i=1}^n{e}^{x_i-x^{\ast }}})\\ & =(x_j-x^{\ast })-\text{log}(\sum _{i=1}^n{e}^{x_i-x^{\ast }})\end{array}$$

这样就避免计算 $e^{x_j-x^{\ast }}$，而仅仅是 $x_j-x^{\ast }$ 难以超越数据类型容许的范围；而后面的 $\text{log}({\sum }_{i=1}^n{e}^{x_i-x^{\ast }})$ 实际是 logsumexp 函数形式，它满足：
$$0\le \text{log}(\sum _{i=1}^n{e}^{x_i-x^{\ast }})\le \text{log}(n)$$

这样就解决了softmax的溢出问题。