机器学习中L1正则化和L2正则化有什么区别？

1.正则化的作用

  机器学习中，如果参数过多，模型过于复杂，容易产生过拟合状态，故正则化的提出是为了一定程度上避免过拟合。比如，常见的L1和L2正则化。

2.正则化公式

L1：

L1正则化是在原来的损失函数基础上加上权重参数的绝对值。

L2：

L2正则化是在原来的损失函数基础上加上权重参数的平方和。

 

它们的直观解释参照红色石头博客https://blog.csdn.net/red_stone1/article/details/80755144

 

3.两者的比较

1.L1可以产生0解，L2可以产生趋近0的解

2.L1获得稀疏解，L2获得非零稠密解

3.如果事先假定只有非常少数的特征是重要的，可以用L1

 

4.举例直观理解