加权交叉熵损失函数

前言

在图像分类任务中，为解决不平衡样本问题，在交叉熵损失函数的基础上加入每个类别的类别权重，能有效地减少样本不平衡问题。

加权交叉熵损失函数是一种在深度学习中常用的损失函数，用于分类任务的训练过程中。它是对交叉熵损失函数的一种改进，通过为每个类分配权重来调整不同类别之间的重要性。在使用加权交叉熵损失函数时，可以根据需要为每个类别分配一个权重，这个权重可以是一个1D张量。在计算损失函数时，每个样本的损失值会根据所属类别的权重进行调整，从而实现对不同类别的加权处理。

关于交叉熵损失函数

加权交叉熵损失函数

代码如下：

github

class WeightedCrossEntropyLoss(nn.Module):
    """WeightedCrossEntropyLoss (WCE) as described in https://arxiv.org/pdf/1707.03237.pdf
    """

    def __init__(self, ignore_index=-1):
        super(WeightedCrossEntropyLoss, self).__init__()
        self.ignore_index = ignore_index

    def forward(self, input, target):
        weight = self._class_weights(input)
        return F.cross_entropy(input, target, weight=weight, ignore_index=self.ignore_index)

    @staticmethod
    def _class_weights(input):
        # normalize the input first
        input = F.softmax(input, dim=1)
        flattened = flatten(input)
        nominator = (1. - flattened).sum(-1)
        denominator = flattened.sum(-1)
        class_weights = Variable(nominator / denominator, requires_grad=False)
        return class_weights