Ridge Regression

关键字:惩罚项

待学习:交叉验证

前言:在《线性回归(内含最小二乘法)》中,提到了最小二乘法的“多重共线性”问题。就是说X病态的话w会让y对x非常敏感,不难推断,这个时候w肯定比较大所以才产生这样的结果。所以如果限制了w的大小的话,会让y对x不那么敏感,这种方法就很适合X病态导致w很大的时候使用。


1.基本思想

    我们基于推出,所以可以考虑改变目标函数,在它的基础上考虑正则化方法,即加上惩罚项。

 2.基于惩罚项的分类

 2.1 脊回归Ridge Regression

    在目标函数(损失函数)上加上w的l2范数,即二范数,此时目标函数就是,系数是控制的系数,>=0。的大小可以看出惩罚项的作用大小。越大,w越小。越小,w越大。

    的选择经常用交叉验证实现,这时不需要人工调整了,会自动选择。

2.2 套索回归Lasso Regression

    此时目标函数加上w的l1范数,即一范数,此时目标函数就是


侵删,参考:https://blog.csdn.net/daunxx/article/details/51578787



你可能感兴趣的:(机器学习)