L1、L2正则(Regularization )简介

过拟合就是随着模型的复杂度的增加，训练集上的正确率很高error很小，训练集拟合的非常好，但是在测试集上面的错误率却越来越高，效果很差，即模型的泛化能力很差；

而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况；防止过拟合的方法有很多，比如：early stopping，L2正则等；

L1可以实现稀疏，关于稀疏可以暂且理解为：让参数W是稀疏的，就是希望W的大部分元素都是0。影响预测结果y的特征有很多，但是其中一部分特征对输出y是完全没有影响的，在最小化目标函数的时候虽然加入这些特征会降低训练误差，但是实际应用这些无效的特征信息会干扰y的正确预测，所以我们引入稀疏将这些特征的权重置为0，从而起到选择有效特征的作用；

L2正则（范数）是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||₂最小，可以使得W的每个值都很小，都接近于0，注意与L1范数不同，它不会让它等于0，而是接近于0，这里有很大的区别。

而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象，如图所示：当w的值比较大时，说明斜率比较大，数据会出现明显的波动上升或下降，只有当w都比较小时曲线的斜率才会比较小，导数绝对值比较小，曲线不会过分拟合数据。