【机器学习】Ridge Regression（脊回归/岭回归）

脊回归的提出是为了解决普通线性回归中的数值解不稳定的问题。

对于普通的线性回归模型，

它的损失函数是：

但是使用上式来计算模型参数时，很容易就会出现参数的绝对值非常大的问题。

正因为w在数值上非常的大，所以，如果输入变量x有一个微小的变动，其反应在输出结果上也会变得非常大，这就是对输入变量总的噪声非常敏感的原因。

为了限制模型参数w的数值大小，就在模型原来的目标函数上加上一个惩罚项，这个过程叫做正则化（Regularization）。如果惩罚项是参数的l2范数，就是脊回归(Ridge Regression)，又叫岭回归。

其损失函数是：

多出的这一项的意义是解出来的参数的平方和。换句话说，如果解出来的参数特别大的话，这个模型的目标函数值也会特别大。而我们希望求出来的解能使目标函数尽可能的小，这是非常符合直觉的。

写成矩阵形式的话就是这样

λ的数值越大，那么正则项，也是惩罚项的作用就越明显；λ的数值越小，正则项的作用就越弱。极端情况下，λ=0则和原来的损失函数是一样的，如果λ=∞，则损失函数只有正则项，此时其最小化的结果必然是w=0。

最小化cost即求解cost在w处的极值，

脊回归的缺点就在于它为了数值的稳定性而牺牲了一定的无偏性，而且对于低次多项式拟合，脊回归的平滑的优点也不是特别突出。