机器学习算法系列（七）：L1正则化与L2正则化

本文主要从该博客处学习：https://blog.csdn.net/u012162613/article/details/44261657

一： 模型过拟合

简单来讲，就是在训练集上表现很好，误差很小，准确率很高，但是在测试集中，表现很差，误差很大。

第一幅图为欠拟合，第二个为正常拟合，第三个为过拟合。
解决过拟合一般有两种方法：
1.丢弃一些不能帮助我们预测的特征的数量。
2.正则化。保留所有特征，但是降低参数的大小。L2 regulation 和 L1 regulation是一种用来避免模型过拟合的方法。

二：L2 regulation

L2 regulation 也成为权重衰减，是在代价函数后边加一个正则化项。

C0代表原始的代价函数，后边那一项就是正则化项。它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整。
下边来看一下正则项是怎么避免过拟合的。先求导看一下：

可以发现L2正则化项对b的更新没有影响，但是对于w的更新有影响，在权重进行更新时，会进行下面图片中的运算。

在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为 1−ηλ/n ，因为η、λ、n都是正的，所以 1−ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。
到目前为止，我们解释了L2正则化项有让w“变小”的效果，但是还没解释为什么w“变小”可以防止overfitting？一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示模型的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。当然，对于很多人（包括我）来说，这个解释似乎不那么显而易见，所以这里添加一个稍微数学一点的解释（引自知乎）：

过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。添加正则化项之后，可以使得所有的参数变小，得到的拟合直线会更加平缓。

三：L1 regulation

在原始的代价函数后面加上一个L1正则化项，即所有权重w的绝对值的和，乘以λ/n.

计算导数：

上式中sgn(w)表示w的符号。那么权重w的更新规则为：

比原始的更新规则多出了η * λ * sgn(w)/n这一项。当w为正时，更新后的w变小。当w为负时，更新后的w变大——因此它的效果就是让w往0靠，使网络中的权重尽可能为0，也就相当于减小了网络复杂度，防止过拟合。