NLLLoss和CrossEntropyLoss的区别和联系

NLLLoss

NLLLoss的全称是Negative Log Likelihood Loss，也就是最大似然函数。

在图片进行单标签分类时，【注意NLLLoss和CrossEntropyLoss都是用于单标签分类，而BCELoss和BECWithLogitsLoss都是使用与多标签分类。这里的多标签是指一个样本对应多个label.】

假设输入m张图片，输出一个m*N的tensor,其中N是分类的个数，比如N为词表大小。比如，输入3张图片，分三类，最后的输出是一个$3\ast 3$的tensor，举一个例子：

假设每一行对应一个样本在3个类别上的输出值，接下来我们可以使用Softmax，来得到每张图片的概率分布：

然后再对softmax的结果取对数：
NLLLoss的结果就是把上面的输出log_result与Label对应的值拿出来，去掉负号再求和取平均。

假设target=[1,0,2]，所以就是取出-1.3549, -3.2680, -0.5069，去掉负号再求和取平均。

具体结果如下：
下面用NLLLoss来验证一下：

CrossEntropyLoss

CrossEntropyLoss就是交叉熵代价函数。

它就是把上面的我们执行的softmax+log+NLLLoss合并起来了，一步执行完。

我们可以来验证一下：

可以看到结果是一样的。

总结

总结： NLLLoss和CrossEntropyLoss计算损失函数的形式可以统一为：
$$loss(y_{model},y_{true})=-\sum y_{true}\ast log(y_{model})$$

其中$y_{model}$表示模型的输出（经过softmax后的结果）， $y_{true}$表示样本的真实target.

在具体的训练中，其实target是个N维tensor，只有对应的Label位为1，其他的都为0，$y_{model}$也是一个N维的tensor,
这样就实现了上面说的只选取Label位的值参与最后的求和取平均计算。