机器学习中关于正则化的理解

正则化的目的:避免出现过拟合(over-fitting)


经验风险最小化 + 正则化项 = 结构风险最小化


经验风险最小化(ERM),是为了让拟合的误差足够小,即:对训练数据的预测误差很小。


但是,我们学习得到的模型,当然是希望对未知数据有很好的预测能力(泛化能力),这样才更有意义。


当拟合的误差足够小的时候,可能是模型参数较多,模型比较复杂,此时模型的泛化能力一般(过拟合)。于是,我

增加一个正则化项,它是一个正的常数乘以模型复杂度的函数,aJ(f),a>=0 用于调整ERM与模型复杂度的关系。


结构风险最小化(SRM),相当于是要求拟合的误差足够小,同时模型不要太复杂(正则化项的极小化),这样得到

模型具有较强的泛化能力。

奥卡姆剃刀原理(Occam's razor)与正则化实际上是一个道理。


给出一个机器学习中经典的图,模型越复杂,训练误差越小,但是测试误差先变小后变大,继而出现过拟合。

机器学习中关于正则化的理解_第1张图片

以决策树的剪枝(pruning)为例:

       通过ID3或C4.5算法生成决策树往往会发生过拟合,因为它是对结点通过特征选取来选择特征并生成一棵决策

树,这将导致树因枝叶过多(IF-THEN过多)。树的剪枝过程是通过从已生成的树上剪掉一些子树或叶节点,从而对

树进行简化。

决策树的剪枝通过极小化决策树整体的损失函数来实现,这等价于正则化的极大似然估计:


其中,C(T)表示模型对训练数据的拟合程度, 为正则化项,这里用树T的叶结点个数表示树的复杂度。


参考资料《统计学习方法》李航

你可能感兴趣的:(过拟合,正则化,模型选择,奥卡姆剃刀)