softmax loss层的求导反向传播

  深度学习中的分类网络，一般都是使用softmax和交叉熵作为损失函数。关于softmax和cross entropy的介绍和解释可以详见我的另一篇博客softmax loss。这篇博客仅解释如何对softmax loss层进行求导反向传播。

  假设网络最后一层的输出为 z z ，经过softmax后输出为 p p ，真实标签为 y y （one hot编码），则损失函数为：

L=−∑i=1Cyilogpi L = − ∑ i = 1 C y i log ⁡ p i

其中 C C 表示共有 C C 个类。

  对softmax loss层求导，即求 ∂L∂z ∂ L ∂ z ，可以通过求 ∂L∂zj ∂ L ∂ z j 进行说明。

∂L∂zj=−∑i=1Cyi∂logpi∂zj=−∑i=1Cyipi∂pi∂zj ∂ L ∂ z j = − ∑ i = 1 C y i ∂ log ⁡ p i ∂ z j = − ∑ i = 1 C y i p i ∂ p i ∂ z j

  因为 p p 是 z z 经过softmax函数后的输出，即 p=softmax(z) p = s o f t m a x ( z ) 。

pi=ezi∑Ck=1ezk p i = e z i ∑ k = 1 C e z k

∂pi∂zj ∂ p i ∂ z j 的求解分为两种情况，即 i=j i = j 和 i≠j i ≠ j ，分别进行推导，如下：

i=j时：∂pi∂zj=∂pj∂zj=∂ezj∑Ck=1ezk∂zj=ezj∑Ck=1ezk+ezj×(−1)×(1∑Ck=1ezk)2×ezj=pj−p2j=pj(1−pj) i = j 时 ： ∂ p i ∂ z j = ∂ p j ∂ z j = ∂ e z j ∑ k = 1 C e z k ∂ z j = e z j ∑ k = 1 C e z k + e z j × ( − 1 ) × ( 1 ∑ k = 1 C e z k ) 2 × e z j = p j − p j 2 = p j ( 1 − p j )

i≠j时：∂pi∂zj=ezi×(−1)×(1∑Ck=1ezk)2×ezj=−pipj i ≠ j 时 ： ∂ p i ∂ z j = e z i × ( − 1 ) × ( 1 ∑ k = 1 C e z k ) 2 × e z j = − p i p j

故有，

∂L∂zj=−yjpjpj(1−pj)−∑i≠jyipi(−pipj)=−yi+pj∑i=1Cyi=pj−yj ∂ L ∂ z j = − y j p j p j ( 1 − p j ) − ∑ i ≠ j y i p i ( − p i p j ) = − y i + p j ∑ i = 1 C y i = p j − y j

表示成向量形式有

∂L∂z=p−y ∂ L ∂ z = p − y