损失函数清单

损失函数(Loss Function)用来估量模型的预测值 与真实值 的不一致程度。这里做一个简单梳理，以备忘。

回归问题

常见的回归问题损失函数有绝对值损失、平方损失、Huber损失。

绝对值损失

又叫做L1损失。

MAE一个问题是在 处不可导，优化比较困难。

平方损失

又称为L2损失。

MSE一个问题是对异常点敏感，由于平方的存在，会放大对异常点的关注。

Huber损失

相当于是L1和L2损失的一个结合。

Huber损失是对上述两者的综合，当 小于指定的值 时，变为平方损失，大于 时，则变成类似于绝对值损失。即避免了在在0处不可导问题，也解决了其值过大对异常值敏感的问题。值得注意的是，该函数在处连续。

三种Loss随残差的大致走势如下图。

algo-huber-loss

分类问题

一般来说，二分类机器学习模型输出有两个部分：线性输出和非线性输出。其中，线性输出score一般是

非线性输出常见的如sigmoid：

对应label 一般两种表示方式，或表示正负类。其中用表示正类有个好处，就是从可以看出是否是误分类。

• 若，则预测正确
• 若，则预测错误

这样，和回归模型中残差非常类似，以为自变量作图，方便理解。

0-1 Loss

0-1 Loss很直观，如果误分类则误差为1，否则为0。

有两个明显的问题

• 0-1 Loss对每个误分类点惩罚相同，即使错的比较离谱(ys远小于0)
• 0-1 Loss不连续、非凸、不可导，梯度优化算法不适用

所以实际模型中0-1 Loss用的很少，后续介绍的误差，多数可看做0-1 Loss的一个上界。

Cross Entropy Loss

Cross Entropy Loss是非常重要的损失函数，也是应用最多的分类损失函数之一。根据label的表示方式，一般有两种常见形式。

如果label表示为，形式如下：

简单看其来由。模型输出预测类别的概率

以上可整合到一个公式中

根据极大似然估计原理，我们希望p越大越好，为了方便计算，同时引入负对数(不影响单调性)。

其中

代入可得出

$$
L(y, \hat y) = \begin{cases}

• log(\hat y) = log(1 + e^{-s}) && y = 1 \
• log(1 - \hat y) = log(1 + e^s) && y = 0
  \end{cases}
  $$

当y=1时，s越大loss越小；当y=0时，s越小loss越小，make sense。

如果label表示为，形式如下：

其实上述式子完全等价，只不过将y=1或y=0两种情况整合到一起。ys的符号反映预测准确性，其数值大小反映预测置信度。

交叉熵损失在实数域内，Loss近似线性变化。尤其是当 ys << 0 的时候，Loss 更近似线性。这样，模型受异常点的干扰就较小。 而且交叉熵 Loss 连续可导，便于求导计算，应用比较广泛。

Hinge Loss

The hinge loss is used for maximum-margin classification, most notably for support vector machines (SVMs).

Hinge Loss名字很象形，其形状类似合页。一般用于SVM中，体现SVM距离最大化思想。当Loss大于0时，是线性函数，可以用梯度优化算法。此外损失皆为0，可以带来稀疏解，使得SVM仅通过少量支持向量就能确定最终超平面。

algo-hinge-loss

Exponential Loss

指数损失，多用于AdaBoost中，其它算法中用的较少。

Modified Huber Loss

Huber Loss整合MAE和MSE的优点，稍作改进，同样可用于分类问题，称为Modified Huber Loss。

该函数分三段

• 线性
• 二次
• 常数0

分类问题损失函数对比

对比不同损失函数随ys的变化趋势。有一点值得注意，就是各个损失函数在很小时，损失一般不超过线性（指数损失除外），否则对异常值太敏感。

algo-loss-function-1

algo-loss-function-2