权重衰退的原理(正则化技术之一)

当我们的模型过于复杂时，会发生过拟合，我们可以使用权重衰退的方式，来简化模型，使得其不至于过拟合，而简化的原理，简单来说就是一个多项式中的高次项的系数变小了，函数也就变平滑了

而重衰退有一个超参数正则项权重，正是这个，控制了衰退的大小

下面就来看看权重衰退是如何实现的：

我们通过使用均方范数作为硬性限制，对于所有的权重参数和偏置，我们只对权重进行限制，令其L2long的值小于一个数，如图：

而：

我们的参数更新法则就来源于此：

由于有的存在，每次在梯度下降之前，都会提前减去一次，所以每次权重的大小则额外减小了，且每下降一次，都会减一次，故多次下降之后，被减去的部分越来越多，故称作权重衰退

总结：