机器学习笔记：岭回归（L2正则化）

1 岭回归（ridge regression）介绍

        L2正则化的目的就是要让权重衰减到更小的值，在一定程度上减少过拟合的问题。

 

L2正则化可以使参数趋近于0，函数更加平滑 

2 L2正则化的求解过程

 

 半正定矩阵加上对角矩阵λI一定是可逆的，可以解决可能不可逆带来的问题。

3 从贝叶斯的角度看岭回归

和机器学习笔记：线性回归_UQI-LIUWJ的博客-CSDN博客中一样，我们仍然认为实际值和估计值之间的差距是高斯噪声，即y和f(w)满足：

另外，我们假设参数ω的分组服从以下先验分布（这里补充说明一下为什么线性回归里面不用假设ω的分布，但是岭回归里面需要：因为我们岭回归【L2正则化】的作用是限制参数ω的范围，也就是将他压缩到0附近的一个区间内，所以要限制他满足的范围内）

 

3.1 用最大后验法求解参数ω 

找概率最大的w

可以看到正则化的最小二乘法与噪声为高斯噪声且参数先验也是高斯分布时的最大后验估计法是等价的。

4 总结

最小二乘法（线性回归）<——>噪声是高斯分布的 最大先验估计

正则化最小二乘法（带正则项的线性回归）<——>噪声是高斯分布，且参数先验也是高斯分布的 最大先验估计