Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节

Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节

CrossEntrophy（）

交叉熵损失函数，是一种在多分类任务，多标签学习中效果较好的损失函数。

criterion = nn.CrossEntropyLoss()
...
# train
...
        for i, (features, length, label) in enumerate(train_loader):
            ...
            loss = criterion(prediction, target)
            loss.backward()
            optimizer.step()
            L = L + loss.item()

其中prediction和target分别代表网络的输出和数据自身的标签。

我在进行分类网络搭建时，碰到两个相关问题。

1.RuntimeError: multi-target not supported at …

这是编译CrossEntropyLoss()时的报错信息，原因如下。

我们一般会将多任务网络输出设为一组以为概率分布，如下所示：

prediction = tensor([0.01.0.2,0.5,0.2,0.01,0.98])

自然而然，我们计算损失时会想到用相同的概率分布形式，即one-hot型编码

target = tensor([1,0,0,0,0,0])

但其实这种traget是错的，CrossEntropyLoss中的target输入将自动转化为one-hot形式。我们要输入的其实是

第几种类类型，即

target = tensor([0]) 
#  CrossEntropy()将自动转化为tensor([1,0,0,0,0,0])
target = tensor([5]) 
#  CrossEntropy()将自动转化为tensor([0,0,0,0,0,1])

也可以更改 dataloader 中 dataset 中 def getitem(``self, index) 返回的 target 的内容（将 one hot 格式改成 数字格式 就行）。

2.使用squeeze降维注意事项

这是我在使用squeeze方法为tensor降维时遇到的。

报错信息为RuntimeError: dimension specified as 0 but tensor has no dimensions

在训练的valid和test中，不像train中有batchsize概念，当每一个训练样本只对应一个label时。

如果train中batchsize为16，那么不同环节中CrossEntropyLoss的target的size如下：

#train
>>print(label.size())
>>[16，1]
#valid,test
>>print(label.size())
>>[1，1]
#squeeze降维之后
#train
>>print(label.squeeze.size())
>>[16]
#valid,test
>>print(label.squeeze.size())
>>[]#Loss计算时会报错

shape为[]类型的tensor进行Loss计算时会出现shape不匹配的错误。

这是因为squeeze()会默认去除所有大小为1 的维度

解决方法为：

label = label.squeeze(label,1)

这样可以指定去除第二维的维度（其大小为1）。具体可以查看squeeze()的使用方法。