机器学习、深度学习中常用损失函数

六个常用损失函数

定义：损失函数针对单个样本而言，代价函数针对整个训练集的所有损失函数期望。

一.均方差损失(Mean Squared Error Loss)

基本形式：$J_{MSE}=\frac{1}{N}{\sum }_{i=1}^N(y_i-\widehat{y_i}{)}^2$

模型假设服从高斯分布，与极大似然估计本质一致，梯度下降较 $MAE$ 快。

二.平均绝对误差损失 （Mean Absolute Error Loss）

基本形式：$J_{MAE}=\frac{1}{N}{\sum }_{i=1}^N|y_i-\widehat{y_i}|$

模型假设服从拉普拉斯分布。

$MSE$ 与 $MAE$ 的比较：$MSE$ 更快收敛，但是 $outlier$ 对于其影响较大。

三.Huber Loss

模型在误差较大时采用 $MAE$，误差较小则为 $MSE$。

四.分位数损失（Quantile Loss）

r 为分位系数。

这个损失函数是一个分段的函数 ，将 $y_i>\widehat{y_i}$（高估） 和 $y_i\le \widehat{y_i}$（低估） 两种情况分开来，并分别给予不同的系数。当 $r<0.5$ 时，低估的损失要比高估的损失更大，反过来当 $r>0.5$ 时，高估的损失比低估的损失大；分位数损失实现了分别用不同的系数控制高估和低估的损失，进而实现分位数回归。特别地，当 $r=0.5$ 时，分位数损失退化为 $MAE$ 损失，从这里可以看出 $MAE$ 损失实际上是分位数损失的一个特例 — 中位数回归（这也可以解释为什么 $MAE$ 损失对 $outlier$ 更 $robust:MSE$ 回归期望值，$MAE$ 回归中位数，通常 $outlier$ 对中位数的影响比对期望值的影响小）。

五.交叉熵损失（Cross Entropy Loss）

上文介绍的几种损失函数都是适用于回归问题损失函数，对于分类问题，最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。

二分类：