岭回归公式推导

对于最小二乘问题

加入常数项 ，令

变量代换，可以写成

其中θ是拟合系数。加入常数项 ，同时，希望拟合参数θ尽可能小，以降低预测值的敏感程度，可得：

注：结合起来理解：

目标函数是一个凸函数，对目标函数求导，导数等于0的点是最优点：

注意：

岭回归的推导与介绍，比较全面：https://www.jianshu.com/p/1677d27e08a7