目标函数（损失函数，代价函数）

深度网络中的目标函数通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习与表示学习。

为防止模型过拟合或达到其他训练目标(如希望得到稀疏解),正则项通常作为对参数的约束也会加入目标函数中一起指导模型训练。

一、分类任务目标函数

（1）普通分类函数

• 交叉熵损失函数

• 合页损失函数

• 坡道损失函数——非凸损失函数，也常被称为“鲁棒损失函数”

特点：抗噪

这类损失函数的共同特点是在分类(回归)误差较大区域进行了“截断”,使得较大的误差不再大程度影响整个误差函数。

（2）考虑增大类间距离，缩小类内差异等因素提出了一些新的损失函数（显示的考虑特征判别性学习）

• 大间隔交叉熵损失函数——主要考虑增大类间距离

 

优点：不仅满足传统交叉熵损失函数的约束,在确保分类正确的同时增大了不同类别间分类的置信度,有助进一步提升特征分辨能力。

• 中心损失函数——减小类内差异

• focal loss——用于类别不平衡

参考博客：https://blog.csdn.net/qq_34564947/article/details/77200104

二、回归任务的目标函数

与分类任务的区别：回归任务真实标记的每一维为实数,而非二值(0 或 1)。
回归问题的基本概念，残差或称为预测误差,用于衡量模型预测值与真实标记的靠近程度。

• L1损失函数

• L2损失函数

• Tukey's biweight损失函数——非凸损失函数，可克服在回归任务中的离群点或样本噪声对整体回归模型的干扰和影响,是回归任务中的一种鲁棒损失函数。（特点：抗噪）

三种函数的图像对比：

三、其他任务的目标函数

标记分布的介入能提升语义分割性能，特别是边界区域的分割精度。

参考文献：