L1正则为什么会产生稀疏解

在机器学习中，当模型过于复杂时，为了防止产生过拟合的现象，最常用的方法时采用正则化，如L1正则和L2正则.

正则化的本质

L2正则就是在原来的损失函数的基础上加上权重参数的平方和.
$$L=L_0+\lambda \sum _j{w}_j^2$$
其中$L_0$是训练样本误差，$\lambda$是正则化参数.
正则化的目的是防止参数过多或者过大，从而避免模型过于复杂. 为了达到这一目的最直接的方法是限制参数的个数，但是这属于NP-hard问题，求解很困难，所以我们通常采取的限定条件是
$$\sum _j{w}_j^2\le C$$

所谓的添加正则项的损失函数，本质上是原始训练误差在给定上述约束条件下的最小化，这样我们通过拉格朗日乘数法即可将其转化为无约束问题，也就是我们添加了正则项的损失函数$L$，拉格朗日乘子即是正则化参数.

L2正则化

直观解释

假设损失函数是在二维上求解，即参数的个数为2，我们可以绘制出如下图象，其中彩色实线是$L_0$的等值线，黑色的是$L2$的等值线，从二维空间上看，$L2$和$L_0$等值线相交时参数$w_1、w_2$等于零的概率很小，所以使用$L2$正则的解不具有稀疏性.

L2正则倾向于构造一个所有参数都比较小的模型，当数据产生较大的偏移时，由于参数足够小，对于结果也不会产生太大的影响，所以说抗扰动能力强.

数学解释

根据
$$L=L_0+\lambda \sum _j{w}_j^2$$
为了$L$的最小值，我们通常对其求梯度并令其为0.
$$▽L=▽L_0+2\lambda \sum _j{w}_j$$
在参数$w_j=0$时，
$$▽L=▽L_0$$
这意味着代价函数的梯度在$w_j=0$处不等于零，所以对损失函数$L$求极小值时，不会$w_j=0$处取到，因此$L_2$正则不会产生稀疏解.

L1正则化

直观解释

$$L=L_0+\sum _j|w_j|$$

$L1$的等值线是方形，$L_0$与$L1$等值线相交时很大概率上出现在顶点处，而顶点都在坐标轴上，因此必有其他参数为0，所以用$L1$正则的解具有稀疏性.

数学解释

同样我们对损失函数求梯度.
$$\begin{array}{r}▽L=▽L_0+\lambda sign(w_j)=\{\begin{array}{ll}▽L_0-\lambda ,& w_j\to 0^{-}\\ ▽L_0+\lambda ,& w_j\to 0^{+}\end{array}\end{array}$$
当$▽L_0-\lambda$与$▽L_0+\lambda$异号时，则损失函数$L$会在$w_j$处产生一个极小值，因此$L1$正则会产生稀疏解