pytorch中CrossEntropyLoss和NLLLoss的区别与联系

pytorch中CrossEntropyLoss和NLLLoss的区别与联系

CrossEntropyLoss和NLLLoss主要是用在多分类问题的损失函数，他们两个既有不同，也有不浅的联系。先分别看一下：

CrossEntropyLoss

称为交叉熵损失函数，主要的计算公式为：
$$loss(x,class)=-log(\frac{e^{class}}{{\sum }_j(e^{x[j]})})$$
其中$e^{class}$表示某个输出的指数，${\sum }_j(e^{x[j]})$表示所有输出的指数的累加，指数的使用保证操作后的值大于0，除以累加和保证了所有值加起来和为1
具体的官方文档：

NLLLoss

这个损失函数的全称为负对数似然损失（The negative log likelihood loss）,具体的公式如下：
$$l(x,y)=L=\{l_1,l_2,...,l_N{\}}^T,l_n=-W_{y_n}{X}_{n,y_n},W_c=weight[c]\ast 1$$
其中X为输入，W为权重，上述公式为reduction=none时的损失函数计算。$W_{y_n}$就表示对应于$y_n$类的权重，X也是同样的道理，N为batch size的大小。
$$f(n)=\{\begin{array}{ll}{\sum }_{n=1}^N\frac{1}{{\sum }_{n=1}^N{W}_{y_n}},& \text{if reduction = mean}\\ {\sum }_{n=1}^N{l}_n,& \text{if reduction = sum}\end{array}$$
官方的文档为：

区别

对于CrossEntropyLoss来说网络的最后一层线性层的输出可以直接作为该损失函数的输入。
对于NLLLoss来说网络的最后一层线性层的输入不能直接使用，需要额外加一层.LogSoftmax来对线性的输出做如下操作：
$$log(\frac{1}{1+e^{(-X)}})$$
经过LogSoftmax后的输出作为NLLLoss的输入。

联系

从功能实现来说：
$$CrossEntropyLoss=LogSoftmax层+NLLLoss$$

在代码编写使用中的区别