深度学习：目标函数（objective function）

深度学习：目标函数（objective function）或损失函数（loss function）

目标函数通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习和表示学习。

分类任务中的目标函数

1. 交叉熵损失函数 又称Softmax损失函数，是目前卷积神经网络中最为常用的分类目标函数。其形式：
2. 合页损失函数
   一般运用在支持向量机中的合页损失函数，有时候也会在分类任务中作为目标函数。一般情况交叉熵损失函数分类效果较优于合页损失函数的效果。
   
3. 坡道损失函数
   由于其对噪声数据和离群点具备较好的抗噪声特性，因此被称为“鲁棒损失函数”。该类损失函数可以在分类误差较大的区域进行截断，使得较大的误差无法大程度的 影响整个误差系统。
   
4. 大间隔交叉熵损失函数
   大间隔交叉熵损失函数扩大了类间距离，由于它不仅要求分类正确且要求分开的类需保持较大间隔，使得训练目标相比传统交叉熵损失函数更困难。训练目标变困难后带来的一个额外好处便是可以起到防止模型过拟合的作用。由是，在分类性能方面，大间隔交叉熵函数要优于交叉熵损失函数和合页损失函数。
   
   上式不仅满足传统交叉熵损失函数的约束，在确保分类正确的同时增
   大了不同类别间分类的置信度，有助进一步提升特征分辨能力。
5. 中心损失函数
   大间隔交叉熵损失函数主要考虑增大类间距离。而中心损失函数 则在考虑类间距离的同时还将一些注意力放在减小类内差异上。
   中心损失函数的定义为：
   中心损失函数占比重较大时，簇更加集中，说明
   类内差异明显减小。另外需要指出的是，类内差异减小的同时也使得特征具备
   更强的判别能力。
   在分类性能方面，中心损失函数搭配传统交叉熵损失函数要优于只使用交叉熵
   损失函数作为目标函数的网络模型，特别是在人脸识别问题上可有较大性能提升。

回归任务中的目标函数