深度学习基础（一） —— softmax 及 logsoftmax

softmax：重新定义了多层神经网络的输出层（output layer），注意仅和输出层有关系，和其他层无关。

• softmax function，也称为 normalized exponential（指数族分布的观点）；

1. softmax

我们知道在神经网络的前馈（feedforward）的过程中，输出层的输入（input）为：

zLj=∑kwLjk⋅aL−1k+bLj z j L = ∑ k w j k L ⋅ a k L − 1 + b j L

在 softmax 的机制中，为获得输出层的输出（也即最终的输出），我们不是将 sigmoid 函数作用于其上，

aLj=σ(zLj) a j L = σ ( z j L )

而是采用所谓的 softmax function：

aLj=ezLj∑kezLk a j L = e z j L ∑ k e z k L

因此：

• （1）输出层输出之和为 1
  

  ∑kaLk=∑kezLk∑kezLk=1 ∑ k a k L = ∑ k e z k L ∑ k e z k L = 1

  因为输出层的输出之和为1，其中一项增加，其他所有项则会相应减少。

• （2）输出层全部输出均为正：
  而且 softmax 的机制，也保证了所有的输出均为正值；

终上所述，softmax 层的输出其实为一种概率分布（probability distribution），因此对于一个多 label 的分类任务（比如手写字符识别，0-9）而言， aLj a j L 对应于最终的分类结果为 j j 的概率。

2. logsoftmax

logσ(xi)=logexp(xi)∑jexp(xj)=xi−log(∑jexp(xj)) log ⁡ σ ( x i ) = log ⁡ exp ⁡ ( x i ) ∑ j exp ⁡ ( x j ) = x i − log ⁡ ( ∑ j exp ⁡ ( x j ) )

将原始数据从 x ⇒ log (x)，无疑会原始数据的值域进行一定的收缩。

进一步地，还可对原始数据进行进一步的预处理（ xi=xi−max(x) x i = x i − max ( x ) ），

# 假设 x 是一个向量
def logsoftmax(x):
    m = T.max(x)
    exp_x = T.exp(x-m)
    Z = T.sum(exp_x)
    return x-m-T.log(Z)

3. 梯度计算与反向更新

label 有 m m 个不同取值，则：

oi(z)=softmax(zi)=exp(zi)∑jexp(zj),i=1,2,⋯,m o i ( z ) = softmax ( z i ) = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) , i = 1 , 2 , ⋯ , m

yi y i 是对激活值 zi z i 的概率化， {yi}i=1,2,⋯,m { y i } i = 1 , 2 , ⋯ , m 构成输出预测的概率分布。其具有很好的求导性质：

∂oi(z)∂zi====exp(zi)∑jexp(zj)−exp2(zi)∑2jexp(zj)exp(zi)∑jexp(zj)⋅∑jexp(zj)−exp(zi)∑jexp(zj)exp(zi)∑jexp(zj)⋅(1−exp(zi)∑jexp(zj))oi(z)(1−oi(z)) ∂ o i ( z ) ∂ z i = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) − exp 2 ⁡ ( z i ) ∑ j 2 exp ⁡ ( z j ) = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) ⋅ ∑ j exp ⁡ ( z j ) − exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) = exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) ⋅ ( 1 − exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) ) = o i ( z ) ( 1 − o i ( z ) )

有时会取 softmax 的负对数形式作为损失函数：

L=−logoi(z)=−logexp(zi)∑jexp(zj)=−zi−log∑j(exp(zj)) L = − log ⁡ o i ( z ) = − log ⁡ exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) = − z i − log ⁡ ∑ j ( exp ⁡ ( z j ) )

在反向求导时，需要计算负对数似然关于 zi z i 的导数：

∂L∂zi=−1−exp(zi)∑jexp(zj)=−1−σi(z) ∂ L ∂ z i = − 1 − exp ⁡ ( z i ) ∑ j exp ⁡ ( z j ) = − 1 − σ i ( z )

---

• Negative log-likelihood function
• Softmax vs. Softmax-Loss: Numerical Stability