L1和L2损失函数与正则的区别

作为损失函数：
L1 也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。它是使目标值与预测值的绝对值总和最小化

图片.png

L2范数损失函数，也被称为最小平方误差（LSE）。它是目标值和预测值平方差的最小化。

图片.png

作为损失函数 L1和L2的区别如下：

图片.png

转自https://www.jianshu.com/p/d4c6f7b48928

图片.png

作为正则化：
在机器学习中，正规化是防止过拟合的一种重要技巧。从数学上讲，它会增加一个正则项，防止系数拟合得过好以至于过拟合。L1与L2的区别只在于，L2是权重的平方和，而L1就是权重的和。如下：

图片.png

他们的性质和区别：

图片.png

内置特征选择是L1范数被经常提及的有用的性质，而L2范数并不具备。这是L1范数的自然结果，它趋向于产生稀疏的系数（在后面会解释）。假设模型有100个系数，但是仅仅只有其中的10个是非零的，这实际上是说“其余的90个系数在预测目标值时都是无用的”。L2范数产生非稀疏的系数，因此它不具备这个性质。
  稀疏性指的是一个矩阵（或向量）中只有少数的项是非零的。L1范数具备性质：产生许多0或非常小的系数和少量大的系数。
  计算效率。L1范数没有一个解析解，但是L2范数有。这就允许L2范数在计算上能高效地计算。然而，L1范数的解具备稀疏性，这就允许它可以使用稀疏算法，以使得计算更加高效。

作者：但盼风雨来_jc
链接：https://www.jianshu.com/p/d4c6f7b48928
來源：
（说明：仅作为笔记使用 如有侵权 必当删之）