机器学习-04 基于sklearn 广义线性模型- Lasso回归

Lasso回归

稀疏系数是指含零较多的系数。这种现象的产生可能是特征值设定的原因，比如性别男性为1女性为0，或者天气晴天为1阴天为0，这种非黑及白的选择如果有很多，可能会产生一溜零的情况。百度百科上面这段话写的特别好，特地摘抄在下面“该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。”Lasso回归就是拟合稀疏系数的线性模型。它倾向于使用具有较少参数值的情况，有效地减少给定解决方案所依赖变量的数量。 因此，Lasso 及其变体是压缩感知领域的基础。
其最小化的目标函数是:
min ⁡ ω   1 2 n s a m e p l e s ∥ X ω − y ∥ 2 2 + α ∥ ω ∥ 1 \underset{\omega }{\mathop{\min }}\,\frac{1}{2{ {n}_{sameples}}}{ {\left\| X\omega -y \right\|}_{2}}^{2}+\alpha { {\left\| \omega \right\|}_{1}} ωmin​2nsameples​1​∥Xω−y∥2​