札记:ML——权重衰减（weight decay）（L2正则化）的作用

权重衰减（weight decay）（L2正则化）的作用

引自:CSDN博主「Microstrong0305」

1. 权重衰减（weight decay）

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。

1.1 L2正则化

L2正则化就是在代价函数后面再加上一个正则化项：
$$\mathcal{L}={\mathcal{L}}_0+\frac{1}{2}\times \lambda \times \frac{1}{n}\sum _w{w}^2$$

• $\lambda >0$正则项系数，就是权重衰减稀疏，越大作用越明显;
  当$\lambda$较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当$\lambda$设为0时，惩罚项完全不起作用。
• $\frac{1}{2}$是为了计算求导结果方便，与求导后的系数2相乘凑为1；
• ${\mathcal{L}}_0$是原本的代价函数

作用： 权重衰减（L2正则化）可以避免模型过拟合问题。

思考： L2正则化项有让w变小的效果，但是为什么w变小可以防止过拟合呢？

原理：
1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。
2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？
如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

2. 小结

正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
权重衰减可以通过优化器中的 weight_decay 超参数来指定。如Pytorch中通过优化器设置

	optimizer_w = torch.optim.SGD(params=[net.weight], lr=lr, weight_decay=wd)  # 对权重参数衰减
    optimizer_b = torch.optim.SGD(params=[net.bias], lr=lr)  # 不对偏差参数衰减

权重衰减等价于$L_2$范数正则化，通常会使学到的权重参数的元素较接近0。