sigmoid/softmax指数运算溢出问题的解决方法

今天用tensorflow的代码的时候，看到了tensorflow中计算cross
entropy方法的，不由得赞叹起来开发人员的巧妙构思。顺便捋了一下sigmoid/softmax指数运算溢出问题的解决方法。

sigmoid和softmax函数在计算中，都会用到指数运算$e^{-x}$或者$e^x$，这个时候，如果前一步计算得到的$x$非常小或者非常大的时候，都有溢出的风险，同时在计算cross entropy的时候，也要考虑下溢出，因为如果softmax分子太小近似为0，前面取log也是一个近似于无穷小的数，也会造成精度的减少。

而同时sigmoid和softmax本身就是一个在0~1之间的值，所以可以看到这种溢出只是一种中间过程，对于结果来说并不会有溢出，来看下如何去解决这个问题

1. 对于sigmoid的计算，则可以分成一个判断

   a. 如果$x>0$则 $y=\frac{1}{1+e^{-x}}$
   b. 如果$x<0$则 $y=\frac{e^x}{1+e^x}$

2. 对于sigmoid的log计算（如cross entropy）：
   a. label 记为z
   b. $$\begin{gathered} crossentropy=z\times -\log (sigmoid(x))+(1-z)\times -\log (1-sigmoid(x)) \\ =z\times -\log (\frac{1}{1+e^{-x}})+(1-z)\ast -\log (\frac{e^{-x}}{1+e^{-x}}) \\ =z\times \log (1+e^{-x})+(1-z)\times (-\log (e^{-x})+\log (1+e^{-x})) \\ =z\times \log (1+e^{-x})+(1-z)\times (x+\log (1+e^{-x})) \\ =(1-z)\times x+\log (1+e^{-x}) \\ =x-x\times z+\log (1+e^{-x}) \end{gathered}$$

   c. 对于$x<0$有溢出风险时，变换$x$为 $log(e^x)$

   d. 上式可以变换为
   $$\begin{gathered} x-x\times z+log(1+e^{-x}) \\ =log(e^x)-x\times z+\log (1+e^{-x}) \\ =-x\times z+log(1+e^x) \end{gathered}$$

   e. 综合起来，对于$crossentropy=max(x,0)-x\times z+\log (1+e^{-|abs(x)|})$

3. 对于softmax的计算 $y=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$，

   a. 取所有$x_j$的最大值为M，则计算$\{x_j\}$这组数的softmax等同于计算$\{x_j-M\}$这么一组数的softmax，非常容易推导的，分子分母同时除以$e^M$即可
   b. 所以这样softmax改成计算$y=\frac{e^{x_i-M}}{{\sum }_j{e}^{x_j-M}}$，就解决了上溢出的问题，因为中间每一项都是小于等于1的值。

4. 对于softmax的log计算（如cross entropy）
   a. cross entropy的时候的下溢出问题，依然是前面的变换，变成$\{x_j-M\}$，这时变换一下log softmax的公式就能得到$(x_i-M)-log({\sum }_j{e}^{x_j-M})$这时，log中的求和式字里，最大的一个肯定为1，所以其和少是大于1的，所以就不会有下溢出问题