L1、L2、Smooth L1损失函数

L1

L1也就是平均绝对误差 Mean Absolute Error（MAE）

• 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。
• 缺点：在中心点是折点，不能求导，不方便求解，可能得不到全局最优解。

L2

L2也就是常说的均方误差 Mean Square Error（MSE）

• 优点：各点都连续光滑，方便求导，具有较为稳定的解。
• 缺点：不是特别的稳健，当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，导致梯度爆炸。

Smooth L1

Smooth L1是结合了L1、L2 loss的优点，在距离最优解较远处能较快收敛，在距离最优解很近时能缓慢求导至最优。