线性回归（ridge、lasso）

前言：最小二乘不是很完备了吗？为什么要有基于惩罚项的线性回归？
答：为了权衡误差与方差，使得方差减小，但同时误差(偏差)会增大。

一、岭回归

目标：

圆柱底面圆的大小取决于 λ 的值。当 λ = 0的时候，即圆锥的最低点（SSR的最小值），表示没有任何压缩，此时模型的泛化能力最弱。
当 λ ≠ 0 的时候，β1 β2都有很多种组合（此时β1 β2形成的是一个面，有很多种组合）
当 λ 增大时，与锥体截面相交的地方越高，泛化能力越强

有人说挑统计模型不要挑最好的，要防止过拟合，保持一定的泛化能力。

圆的大小取决于λ的值

二、lasso

目标函数：

ridge	lasso
正态分布	拉普拉斯分布

lasso是一簇模型，不是一个模型，可以通过改变参数来做logistic等等模型。