【数值分析】—— 深度学习中的数值计算技巧

• underflow：浮点数下溢，数值逼近 0 时出现；
  
  • 0 作除数，
  • 对 0 取对数；
• overflow：浮点数上溢，数值逼近无穷大时出现；
• 浮点数溢出，不论是上溢还是下溢，会使得最终的结果 Undefined（比如为 NaN），或者跟真实的结果相差很大的量级；

1. softmax 函数

softmax 函数用于预测多分类问题，各个类别的概率输出。

softmax(x)i=exp(xi)∑nj=1exp(xj) softmax ( x ) i = exp ⁡ ( x i ) ∑ j = 1 n exp ⁡ ( x j )

当 {xj}j=1,⋯,n { x j } j = 1 , ⋯ , n 全部相等为 c c ，则经过 softmax 函数的变换，各个类别的输出均为 1/n 1 / n ，这是理想的情况。但在计算机浮点计算时，当 c c ：

• 是很大的负数时， exp(c) exp ⁡ ( c ) 逼近 0，分母逼近 0，下溢，结果未定义；
• 是很大的正数， exp(c) exp ⁡ ( c ) 上溢；结果未定义；

上溢还是下溢均可通过如下的简单变换解决：

z=x−maxi=1,⋯,nxi⇓softmax(z)i=exp(zi)∑nj=1exp(zj)=softmax(x)i z = x − max i = 1 , ⋯ , n x i ⇓ softmax ( z ) i = exp ⁡ ( z i ) ∑ j = 1 n exp ⁡ ( z j ) = softmax ( x ) i

• z z 中的某一项为 0，则分母中至少有一项为 1，避免了浮点数的下溢；
• 减去最大值，避免了可能的浮点数的上溢；