正则化之参数惩罚

在线性模型中,为了预防overfitting过度拟合,添加了惩罚项

但是为何要加入这一惩罚项令人困惑。

预防过拟合这个答案给出了解释:

当过拟合的时候,为了匹配测试集里的所有数据,泛化不好的高阶函数会产生很大的抖动,抖动导致导数变得很大,需要系数很大才能拟合所有的数据。所以加入惩罚项可以惩罚系数非常大的情况,使得选择系数避开这些抖动非常大的系数。

你可能感兴趣的:(正则化之参数惩罚)