【深度学习】各领域常用的损失函数汇总(2024最新版)

目录

1、L1 损失、平均绝对误差(L1 Loss、Mean Absolute Error,MAE)

2、L2 损失、均方误差(L2 Loss、Mean Squared Error,MSE)

3、交叉熵损失(Cross-Entropy Loss)

4、混合损失(Combined Losses)

5、Dice Loss 或 IoU Loss

6、对抗损失(Adversarial Loss)

7、对比损失(Contrastive Loss)/ 三重损失(Triplet Loss)

以下是一些常用的损失函数,可根据不同的应用场景进行选择和组合: 

1、L1 损失、平均绝对误差(L1 Loss、Mean Absolute Error,MAE)

        适用于回归任务,L1 损失计算预测值与真实值之间差的绝对值,对异常值不那么敏感。 

L 1=\frac{1}{N} \sum_{i=1}^N\left|y_i-\hat{y}_i\right|

其中,N是样本数量,y_i 是第 i 个样本的真实值,\hat{y}_i 是第 i 个样本的预测值。

        L1 损失 更适合处理异常值,因为它不会像 L2 损失那样对较大的误差赋予过高的惩罚。

2、L2 损失、均方误差(L2 Loss、Mean Squared Error,MSE)

        适用于回归任务,L2 损失计算预测值与真实值之差的平方,适用于输出连续值的任务。

L 2=\frac{1}{N} \sum_{i=1}^N\left(y_i-\hat{y}_i\right)^2

其中,N是样本数量,y_i 是第 i 个样本的真实值,\hat{y}_i 是第 i 个样本的预测值。

        L2 损失 通常会导致模型在预测时试图最小化所有样本误差的平方和,这可能导致模型对异常值过于敏感。

【深度学习】各领域常用的损失函数汇总(2024最新版)_第1张图片

这张图展示了 L1 损失(绝对误差损失)和 L2 损失(均方误差损失)随预测误差变化的情况:

        L1 损失 在误差为零的地方形成了一个角点,其余部分是线性的。

        L2 损失 在误差为零时更加平滑,但随着误差的增大,损失的增速比 L1 损失快得多。

        所以 L1 损失对于大误差的惩罚相对较小,而 L2 损失对于大误差的惩罚更为严厉。 ​

3、交叉熵损失(Cross-Entropy Loss)

        适用于分类任务,对于二分类问题,可以使用二元交叉熵(Binary Cross-Entropy),又称作对数损失;

L(y, \hat{y})=-\frac{1}{N} \sum_{i=1}^N\left[y_i \log \left(\hat{y}_i\right)+\left(1-y_i\right) \log \left(1-\hat{y}_i\right)\right]

其中 L 是损失函数, N 是样本的数量, y_i 是第 i 个样本的真实标签(0或1), \hat{y}_i 是第 i 个样本的预测概率。

        对于多分类问题,使用多类别交叉熵(Categorical Cross-Entropy)。

4、混合损失(Combined Losses)

        在某些情况下,你可能需要结合多种损失函数。例如,在一个多任务学习场景中,你可以将 MSE 用于回归任务的输出,同时将交叉熵用于分类任务的输出。

5、Dice Loss 或 IoU Loss

        在图像分割任务中常用,尤其是当类别不平衡时。这些损失函数关注预测区域与真实区域的重叠程度。

6、对抗损失(Adversarial Loss)

        在使用生成对抗网络(GANs)的应用中常见,例如风格转换或图像生成任务。

7、对比损失(Contrastive Loss)/ 三重损失(Triplet Loss)

        在度量学习和某些类型的嵌入学习中使用,特别是在需要学习输入之间关系的场景中。

        在实际应用中,可以根据任务的具体需求和网络的输出特性选择合适的损失函数,甚至可以设计自定义的损失函数以更好地适应特定的应用场景。同时,还可以对不同输出的损失进行加权,以反映不同任务的重要性。

你可能感兴趣的:(深度学习,损失函数,机器学习,深度学习,人工智能,机器学习)