softmax loss

原文地址：http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function
softmax function:

pj=eoj∑keok

其中， o 是一个向量。
Loss function:

L=−∑jyjlogpj,

首先求p对o的导数：

∂pj∂oi=pi(1−pi),i=j

∂pj∂oi=−pipj,i≠j.

接下来求L对o的偏导数：

∂L∂oi=−∑kyk∂logpk∂oi=−∑kyk1pk∂pk∂oi=−yi(1−pi)−∑k≠iyk1pk(−pkpi)=−yi(1−pi)+∑k≠iyk(pi)=−yi+yipi+∑k≠iyk(pi)=pi(∑kyk)−yi=pi−yi

其中， ∑kyk=1
下标总是来回变……真讨厌
另外，latex编辑数学公式需要高亮文本的代码：

\color{red}