机器学习：正则化

正则化

1：为什么需要正则化

在深度学习过程中容易出现过拟合的情况，就是模型在训练集上得到完全拟合，在测试集上效果很差。

过拟合产生的原因是模型把数据样本的噪声或特性当作一般样本的共有特性拟合了（高方差）

解决过拟合的方法有很多，比如减少迭代次数，使用dropout，数据清洗等，正则化也是一种解决过拟合，提高模型泛化性的方法。

2：什么是正则化

正则化是在训练过程中给训练的损失增加一个正则项惩罚，约束系数的解，降低系数的值。

正则化一般分为L1和L2正则，也叫L1范数，L2范数。

L1正则化的原则是样本特性是由少数重要特征决定的，因此将不重要的特征系数归零，只考虑重要特征的系数，所以L1正则化会产生稀疏矩阵。这也是L1正则解决过拟合的原因。

L2正则化的原则，降低系数的值，提高模型的泛化性。如果模型在训练集上拟合的很好，且模型参数的值都很小，这样模型就能在各种数据集上具备很好的泛化性。因为假设模型的参数很大，输入样本的一个细微改变，在经过模型后，这种改变就会被放大，样本的特性可能就不同于训练集的样本特性。因此模型参数小，在输入样本发生细微改变时，模型并不会放大这种改变，使得输入的总体分布没有大的变化，模型能够很好的拟合分布。