L2正则化的理解

L2正则化

普通的损失函数
$$L=\sum _n({\hat{y}}_n-(b+\sum w_i{x}_i){)}^2$$
在损失函数后面加上一个正则项，梯度下降的时候时候减小w
$$L=\sum _n({\hat{y}}_n-(b+\sum w_i{x}_i){)}^2+\lambda \sum w_i^2$$
梯度下降更新会在原有的梯度上多减去一项，使得w的值更小
$$w=w-\alpha (\frac{\delta L}{\delta W}+\lambda \sum w)$$
更小的权重意味着，学出来的模型更加简单平滑。假设模型为最简单的线性回归模型
$$y=b+\sum w_i(x_i+△x_i)$$
当w越小或趋向于0时，x变化时，w$△x\to 0$
$$\begin{gathered} w_i\to 0 \\ {w}_i△x_i\to 0 \end{gathered}$$
因此，模型对输入变化越不敏感，受噪声的影响越小。
不足的点在于，λ过大时，造成w过小，会造成输入x的拟合不足。
在参数λ合适的情况下，增加L2正则化项可以降低模型复杂度，提高测试准确度。

参考：
李宏毅课程