nn.CrossEntropyLoss详解

nn.CrossEntropyLoss是pytorch下的交叉熵损失，用于分类任务使用

下面我们看看它具体是怎么实现的

先创建一下数据

import torch.nn as nn
import torch

x = torch.rand((3,3))
y = torch.tensor([0,1,1])

#x的值
#tensor([[0.7459, 0.5881, 0.4795],
#        [0.2894, 0.0568, 0.3439],
#        [0.6124, 0.7558, 0.4308]])

#y的值
#tensor([0, 1, 1])

①先经过softmax函数，求出每个类别的概率值，取值到0-1之间

softmax = nn.Softmax()
x_softmax = softmax(x)

#x_softmax
>>>tensor([[0.3817, 0.3259, 0.2924],
        [0.3511, 0.2782, 0.3707],
        [0.3346, 0.3863, 0.2791]])

②再经过log函数，取对数，原来的变化趋势保持不变，但所有值都会变成负的，原来概率大的，成为负值也大，但是它取绝对值后就是最小的，我们想要的是最小损失，正好贴合

x_log = torch.log(x_softmax)

>>>tensor([[-0.9632, -1.1211, -1.2297],
        [-1.0468, -1.2794, -0.9923],
        [-1.0947, -0.9512, -1.2762]])

上边两步，可以直接用函数nn.LogSoftmax代替;可以看出两个结果相同

ls = nn.LogSoftmax(dim=1)
ls(x)

>>>tensor([[-0.9632, -1.1211, -1.2297],
        [-1.0468, -1.2794, -0.9923],
        [-1.0947, -0.9512, -1.2762]])

③最后使用nn.NLLLoss函数求损失

我们先自己实现以下这个函数，它就是求每个样本的标签处的预测值之和，然后取平均，变为正数

loss = x_log[range(len(x)),y]  #取出每一个样本标签值处的概率
loss = abs(sum(loss)/len(x))

#loss
>>>tensor(1.0646)

使用torch中的函数

loss_func = nn.NLLLoss()
loss_func(x_log,y)

>>>tensor(1.0646)

这两个结果是一样的。

我们直接使用nn.CrossEntropyLoss进行一下验证

loss_func = nn.CrossEntropyLoss()
loss_func(x,y)

>>>tensor(1.0646)

结果和上边一样

大家如果有什么不懂的地方，可以私信或评论区留言