深度学习中常见的损失函数

目录

一、损失函数的定义

二、常见的回归损失函数

1、L1 LOSS   (MAE平均绝对误差)

2. L2 LOSS(MSE均方差误差)

3. Smooth L1 LOSS

4.IOU LOSS及其各种变种

三、常见的分类损失函数

1.交叉熵损失函数 Cross Entropy Loss

2.Focal Loss

四、Reference


一、损失函数的定义

损失函数:用于衡量模型所作出的预测值与真实值之间的偏离程度。

损失函数主要分为回归损失(连续型)和分类损失(离散型)

损失函数,代价函数,目标函数之间的区别:

损失函数(Loss Function)定义在单个样本上,算的是单个样本的误差

代价函数(Cost Function)定义在整个训练集上,是所有样本误差的平均,也就是损失函数的平均

目标函数(Object Function)是最终需要优化的函数。即:经验风险+正则化项(Cost Function + Regularization)。

二、常见的回归损失函数

1、L1 LOSS   (MAE平均绝对误差)

 缺点:在0处不光滑,导数不连续,使得网络学习较慢

2. L2 LOSS(MSE均方差误差)

深度学习中常见的损失函数_第1张图片

特点:学习速度比较快,但是对离群点比较敏感,离群点损失会在损失中占主导部分,需要自行调整学习率,防止出现梯度爆炸现象。

3. Smooth L1 LOSS

 综合了L1和L2损失的优点,在0处光滑可导,同时对于异常点鲁棒性较强。

4.IOU LOSS及其各种变种

IOU损失将侯选框的边界信息作为一个整体来进行回归,从而实现准确高效的定位,具有很好的尺度不变性。而smooth L1则没有考虑边界框边界之间的相关性。

三、常见的分类损失函数

1.交叉熵损失函数 Cross Entropy Loss

 这个是二分类的公式。对于多分类问题,交叉熵经常搭配softmax使用,将输出的结果进行处理,使其多个分类的预测值和为1,再通过交叉熵来计算损失。

2.Focal Loss

见我的这篇文章

Focal loss详解与分析_CVplayer111的博客-CSDN博客

四、Reference

机器学习-损失函数,代价函数,目标函数_时光偷走初心-的博客-CSDN博客

你可能感兴趣的:(深度学习各项知识整理)