【PyTorch】使用交叉熵作为语义分割损失函数遇到的坑

引言

图像语义分割其实就是像素级别的图像分类。因此，我们可以选择交叉熵作为我们的损失函数。但使用交叉熵的时候，有以下几点是需要注意的。

提示

1. 输入给模型的数据维度应该是 4 维的：（batch_size，C，H，W），语义分割标签维度应该是 3 维的：（batch_size，H，W）；
2. 模型预测输出的通道数应该等于语义分割的类别数；
3. 语义分割标签图像的像素值应该在 [0，类别数-1] 范围内。若不在，读进来之后必须进行转换。

示例

假设语义分割的类别标签有 5 种，原图尺寸为 512x512，数据加载器设置的 batch_size 参数为 8，原图是三通道的 RGB 图片。那我们输入给模型的数据维度应该是（8， 3，512，512），模型预测输出的数据维度应该设置为（8，5，512，512），语义分割标签图的维度应该处理为（8，512，512）。

转换

如果你的标签图像的像素值不在 [0，类别数-1] 范围内，可以使用以下代码进行转换。下方代码中，fp 参数指定标签图像路径，cls 指定标签类别为 [0, 64, 128, 192, 255]，表示该语义分割任务要分 5 类，每类分别用 cls 中的数值来表示，0 代表第一类，64 代表第二类，以此类推。

from typing import List

from PIL import Image
import numpy as np


def label_transform(fp: str, cls: List[int]):
    img = Image.open(fp)
    arr = np.array(img)
    for idx, key in enumerate(cls):
        arr[arr == key] = idx
    return arr.astype(np.int64)


if __name__ == "__main__":
    print(label_transform(
        fp="test.png",
        cls=[0, 64, 128, 192, 255],
    ))

参考

pytorch语义分割中CrossEntropyLoss()损失函数的理解与分析
IndexError: Target 2 is out of bounds