log_softmax与softmax

  • Softmax
    Softmax是指数标准化函数,又称为归一化指数函数,将多个神经元的输出,映射到 (0,1) 范围内,并且归一化保证和为1,从而使得多分类的概率之和也刚好为1。其公式如下:
    Softmax ⁡ ( z i ) = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) \operatorname{Softmax}\left(\boldsymbol{z}_{i}\right)=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)} Softmax(zi)=jexp(zj)exp(zi)

    通常情况下,计算softmax函数值不会出现什么问题。但是,以下两种情况例外:

    • z j z_{j} zj 极其大,导致计算 e z j e^{z_{j}} ezj 时上溢出(解说float取值范围计算过程)
    • z j z_{j} zj 为负数,且 ∣ z j ∣ |z_{j}| zj 很大,此时 e z j e^{z_{j}} ezj 的分母是一个极小的正数,有可能被四舍五入为0,导致下溢出

    为了解决naive softmax的溢出问题,log_softmax被提出。

  • Log_softmax

    将所有输入 z z z 减去 m a x ( z ) max(z) max(z) (即 z z z 中最大值),可以解决上溢出问题,并且计算结果仍然和原始Softmax保持一致,因为
    Softmax ⁡ ( z i ) = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) = exp ⁡ ( − c ) exp ⁡ ( z i ) exp ⁡ ( − c ) ∑ j exp ⁡ ( z j ) = exp ⁡ ( z i − c ) ∑ j exp ⁡ ( z j − c ) \begin{aligned} \operatorname{Softmax}(\boldsymbol{z_{i}}) &=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)} \\ &=\frac{\exp (-c) \exp \left(z_{i}\right)}{\exp (-c) \sum_{j} \exp \left(z_{j}\right)} \\ &=\frac{\exp \left(z_{i}-c\right)}{\sum_{j} \exp \left(z_{j}-c\right)} \end{aligned} Softmax(zi)=jexp(zj)exp(zi)=exp(c)jexp(zj)exp(c)exp(zi)=jexp(zjc)exp(zic)
    其中, c = m a x ( z ) c=max(z) c=max(z)。通过这样的变换,对任何一个 z i z_{i} zi,减去 c c c 之后, e e e 的指数的最大值为0,所以不会发生上溢出;
    再将softmax结果取对数,用于下一步交叉熵的计算:
    Log ⁡ ( Softmax ⁡ ( z i ) ) = Log ⁡ ( exp ⁡ ( z i − c ) ∑ j exp ⁡ ( z j − c ) ) \begin{aligned} \operatorname{Log}(\operatorname{Softmax}(\boldsymbol{z_{i}})) =\operatorname{Log}(\frac{\exp \left(z_{i}-c\right)}{\sum_{j} \exp \left(z_{j}-c\right)}) \end{aligned} Log(Softmax(zi))=Log(jexp(zjc)exp(zic))
    注意到当 z i − c z_{i}-c zic 是一个很小的负数时, e x p ( z i − c ) exp \left(z_{i}-c\right) exp(zic) 可能会下溢出,导致出现 L o g ( 0 ) Log(0) Log(0) 的尴尬局面。因此,一般不直接计算上式,需要做一下等式变换:
    Log ⁡ ( Softmax ⁡ ( z i ) ) = Log ⁡ ( exp ⁡ ( z i − c ) ∑ j exp ⁡ ( z j − c ) ) = ( z i − c ) − Log ⁡ ( ∑ j exp ⁡ ( z j − c ) ) \begin{aligned} \operatorname{Log}(\operatorname{Softmax}(\boldsymbol{z_{i}})) &=\operatorname{Log}(\frac{\exp \left(z_{i}-c\right)}{\sum_{j} \exp \left(z_{j}-c\right)}) \\ &=(z_{i}-c)-\operatorname{Log}(\sum_{j} \exp \left(z_{j}-c\right))\end{aligned} Log(Softmax(zi))=Log(jexp(zjc)exp(zic))=(zic)Log(jexp(zjc))
    上述式子就是log_softmax的最终表达式,可以看到,会产生下溢出的因素已经被消除掉,而且在求和项中,至少有一项的值为1,从而避免了计算 L o g ( 0 ) Log(0) Log(0) 的尴尬局面。Pytorch的nn.CrossEntropyLoss中的softmax采用的就是这种形式。

你可能感兴趣的:(pytorch,深度学习)