【新人向】Pytorch中NLLLoss()和CrossEntropyLoss()的区别和联系
！本篇介绍的是Pytorch中两个函数的计算原理，并不是严格数学含义
一、NLLLoss
NLLLoss全称是Negative Log Likelyhood Loss，负对数似然损失函数。
例子1
假设模型预测结果：某张图片为猫、狗、猪八戒的测概率的分别是 [ 0.18 , 0.18 , 0.64 ] [0.18, 0.18, 0.64] [0.18,0.18,0.64]。
但其实这张图片应该属于第3个类别——猪八戒。
看一下模型预测结果为猪八戒的预测值y_hat=0.64，我们希望它为1，即真实值y=1。
那么代入公式可以算出这张图片的交叉熵损失：
L ( y ^ = 0.64 , y = 1 ) = − [ 1 × l o g ( 0.64 ) + ( 1 − 1 ) × l o g ( 1 − 0.64 ) ] L(\hat{y}=0.64,y=1)=-[1 \times log(0.64)+(1-1) \times log(1-0.64)] L(y^=0.64,y=1)=−[1×log(0.64)+(1−1)×log(1−0.64)]
从公式中可以看到，加号后半部分为0，实际Loss值等于前半部分。
另外，假如有多张图片怎么搞？
很简单，如果有10张，那么就求出10个loss值，然后对每个loss乘上十分之一，然后相加，作为最终的loss。
二、CrossEntropyLoss
交叉熵损失函数：
其中y_hat是预测的概率值，y是真实的概率值。
如果模型最后输出某张图片的分别为每个类别的可能程度(不是概率值)，然后经过softmax:
我们就能得到这张图片为个类别的概率值。
例子 2
假设模型预测结果：某张图片为猫、狗、猪八戒的可能程度为 [ 1 , 3 , 1 , 3 , 2.6 ] [1,3, 1,3, 2.6] [1,3,1,3,2.6]，
经过softmax函数计算，
得到预测概率的分别是 [ 0.18 , 0.18 , 0.64 ] [0.18, 0.18, 0.64] [0.18,0.18,0.64]。
但其实这张图片应该属于第3个类别——猪八戒。
看一下模型预测结果为猪八戒的预测值y_hat=0.64，我们希望它为1，即真实值y=1。
那么代入公式可以算出这张图片的交叉熵损失：
L ( y ^ = 0.64 , y = 1 ) = − [ 1 × l o g ( 0.64 ) + ( 1 − 1 ) × l o g ( 1 − 0.64 ) ] L(\hat{y}=0.64,y=1)=-[1 \times log(0.64)+(1-1) \times log(1-0.64)] L(y^=0.64,y=1)=−[1×log(0.64)+(1−1)×log(1−0.64)]
从公式中可以看到，加号后半部分为0，实际Loss值等于前半部分。
另外，假如有多张图片怎么搞？
很简单，如果有10张，那么就求出10个loss值，然后对每个loss乘上十分之一，然后相加，作为最终的loss。
三、两者联系
同为损失函数。
四、两者区别
softmax + NLLLoss = CrossEntropyLoss
细心的你应该已经发现了，在Pytorch中，CrossEntropyLoss可以直接接到模型结果之后，直接得出交叉熵损失。
而NLLLoss需要在模型结果后先接一个Softmax，将模型结果变成概率，再用NLLLoss求预测损失。
参考感谢
[1] https://blog.csdn.net/qq_22210253/article/details/85229988
[2] https://www.cnblogs.com/ranjiewen/p/10059490.html
[3] http://baike.sogou.com/v74467907.htm?fromTitle=损失函数
[4] 交叉熵损失