小白都能看懂的softmax loss

1. 前向传播

• 一张图像经过层层计算，在softmax之前得到z1,z2,…
• 经过softmax变成，pj是softmax的输出$$p1=e^{z1}/(e^{z1}+e^{z2}+...),p2=e^{z2}/(e^{z1}+e^{z2}+...),......$$
• softmax常常使用交叉熵计算loss，如下图
  

2. 反向传播

• groundtruth对应的zj和非groundtruth的zj分开计算
• groundtruth对应的zj
  
• 非groundtruth对应的zj
  
• 所以groundtruth对应的zj反向传播的梯度是pj-1，非groundtruth对应的zj反向传播的梯度是pj