log_softmax与softmax

• Softmax
  Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下：
  $$\mathrm{Softmax}\left({\mathbf{z}}_i\right)=\frac{\exp \left(z_i\right)}{{\sum }_j\exp \left(z_j\right)}$$

  通常情况下，计算softmax函数值不会出现什么问题。但是，以下两种情况例外：

  • $z_j$ 极其大，导致计算 $e^{z_j}$ 时上溢出（解说float取值范围计算过程）
  • $z_j$ 为负数，且 $|z_j|$ 很大，此时 $e^{z_j}$ 的分母是一个极小的正数，有可能被四舍五入为0，导致下溢出

  为了解决naive softmax的溢出问题，log_softmax被提出。

• Log_softmax

  将所有输入 $z$ 减去 $max(z)$ （即 $z$ 中最大值），可以解决上溢出问题，并且计算结果仍然和原始Softmax保持一致，因为
  $$\begin{array}{rl}\mathrm{Softmax}({\mathbf{z}}_{\mathbf{i}})& =\frac{\exp \left(z_i\right)}{{\sum }_j\exp \left(z_j\right)}\\ & =\frac{\exp (-c)\exp \left(z_i\right)}{\exp (-c){\sum }_j\exp \left(z_j\right)}\\ & =\frac{\exp \left(z_i-c\right)}{{\sum }_j\exp \left(z_j-c\right)}\end{array}$$
  其中， $c=max(z)$。通过这样的变换，对任何一个 $z_i$，减去 $c$ 之后，$e$ 的指数的最大值为0，所以不会发生上溢出；
  再将softmax结果取对数，用于下一步交叉熵的计算：
  $$\begin{array}{r}\mathrm{Log}(\mathrm{Softmax}({\mathbf{z}}_{\mathbf{i}}))=\mathrm{Log}(\frac{\exp \left(z_i-c\right)}{{\sum }_j\exp \left(z_j-c\right)})\end{array}$$
  注意到当 $z_i-c$ 是一个很小的负数时，$exp\left(z_i-c\right)$ 可能会下溢出，导致出现 $Log(0)$ 的尴尬局面。因此，一般不直接计算上式，需要做一下等式变换：
  $$\begin{array}{rl}\mathrm{Log}(\mathrm{Softmax}({\mathbf{z}}_{\mathbf{i}}))& =\mathrm{Log}(\frac{\exp \left(z_i-c\right)}{{\sum }_j\exp \left(z_j-c\right)})\\ & =(z_i-c)-\mathrm{Log}(\sum _j\exp \left(z_j-c\right))\end{array}$$
  上述式子就是log_softmax的最终表达式，可以看到，会产生下溢出的因素已经被消除掉，而且在求和项中，至少有一项的值为1，从而避免了计算 $Log(0)$ 的尴尬局面。Pytorch的nn.CrossEntropyLoss中的softmax采用的就是这种形式。