机器学习深度学习必备之——正则化综述

什么是正则化？

首先英文原文为regularization，直译应为规则化，简单来说就是对模型加入规则，加入我们的先验知识，如果觉得正则化太难理解，可以按照规则化来理解记忆。

切入正题，正则化说的就是对模型引入额外信息来防止模型过拟合与提高模型泛化性能的方法统称。一般是对模型复杂程度加以惩罚，目标是降低模型的复杂度（模型的结构化风险），根据奥卡姆剃刀原理，精度靠谱的情况下越简单的模型是越值得选择的模型。

从贝叶斯角度来看，正则化是对模型加了一个先验概率，常用的L1正则化属于拉普拉斯分布先验，L2属于正态分布先验。

常用的正则化方法有哪些？

直接限制模型参数的方法：

1. L1，L2等惩罚项
2. 参数共享
3. 多任务学习（此方法也用到了参数共享）

从数据集入手的方法：

• 增加噪音:

1. 对输入数据
2. 对隐层权重
3. 对输入目标

• 增大数据集
• 重采样

集成化方法（通过训练多个不同的模型，并让所有模型一起表决测试集的输出）：

• bagging
• dropout

其他：

• early stop
• 交叉验证（bagging为又放回采样，而交叉验证可以理解为无放回模型平均）