深度学习: softmax loss 计算

转载自caffe层解读系列-softmax_loss:

计算过程

softmax_loss的计算包含2步：

（1）计算softmax归一化概率

（2）计算损失

这里以batchsize=1的2分类为例：

设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4]，

然后计算归一化概率得到[0.5987 0.4013]，

假如该图片的label为1，则Loss=-log0.4013=0.9130

可选参数

（1） ignore_label

int型变量，默认为空。
如果指定值，则label等于ignore_label的样本将不参与Loss计算，并且反向传播时梯度直接置0.

（2） normalize

bool型变量，即Loss会除以参与计算的样本总数；否则Loss等于直接求和

（3） normalization