2.6-模型正则化（Regularization）-限制参数的大小

过拟合是由于对训练模型的过度拟合导致的模型的泛化能力降低，在多项式回归中，我们的degree过大就会导致过拟合

模型正则化能很好地解决帮助我们限制参数的大小，从而使我们的模型大大降低过拟合的风险。

在线性回归中，我们尽可能让MSE达到最小。如下图

加入模型正则化之后，

我们的目标函数J就变成了：

 

加入的MSE后面的公式就是我们添加的正则项。

在上面公式中，我们让整个公式尽可能的小。限制了theta值的数量和大小，来让我们整个J变得更小。

当alpha趋近于无穷大的时候，我们的theta值就趋近于0.

这就是我们Ridge Regression（岭回归） 或者是L2正则项 

 

当然，我们的正则项式子也可以表示成：

也就是我们所说的LASSO Regression 和L1正则项 

在L1正则项中，有个很重要的概念就是，L1趋向于让我们的theta值变为0 。所以会有一个特征选择的作用

为什么会有特征选择的作用呢？

我们列出公式

 

还有，有我们的L1，L2我们衍生出第三个式子，也就是我们的弹性网络

添加一个r的超参数，综合了L1，L2的优缺点 ，关于L1，L2的优缺点，大家可以自行百度下