深度学习: 回归loss

回归loss

比较参见的有L1、L2和Smooth L1。罗列如下：

名称 / 别称	公式	求导	特性
L1 / MAE	$\frac{1}{N}{\sum }_{i=1}^N\mid y-\hat{y}\mid$	$\pm \frac{1}{N}{\sum }_{i=1}^N{\hat{y}}^{\prime }$	在0点附近梯度依然为-1或1，导致来回振荡，不利于收敛
L2 / MSE（均方误差）	$\frac{1}{N}{\sum }_{i=1}^N{⟮y-\hat{y}⟯}^2$	$\frac{2}{N}{\sum }_{i=1}^N⟮y-\hat{y}⟯\cdot {\hat{y}}^{\prime }$	受离群点影响大，训练时容易跑飞
Smooth L1	如下	如下	兼顾了二者的优点，同时回避了二者的缺点

Smooth L1 公式

$$\{\begin{array}{rlrl}& 0.5x^2& ,& \left|x\right|\le 1\\ & |x|-0.5& ,& \left|x\right|>1\end{array}$$

Smooth L1 求导

$$\{\begin{array}{rlrl}& x& ,& \left|x\right|\le 1\\ & -1& ,& x<-1\\ & 1& ,& x>1\end{array}$$