scikit-learn Linear models

最小二乘法回归

此时假设的是变量间独立，不然会对随机误差超级敏感。

This situation of multicollinearity can arise, for example, when data are collected without an experimental design.
对于自己设计的数据可能不太会出现这个问题（用函数加一点小噪声生成），但对于实际的数据，要考虑多重共线性的问题

岭回归

共线性对模型参数有影响，尤其是高度病态矩阵（变量变化一点会导致输出权重有巨大差异）。设置正则化项可以减少这些噪声的影响。岭回归的正则项为L2范数。当正则化项的系数非常大，则正则化项为主导项，coefficient会趋向于0，当正则化系数接近0时，则岭回归退化成最小二乘法。

岭回归的参数设置

交叉验证可以用RidgeCV

Lasso

Lasso的正则化项为参数的绝对值之和。这样子画出来的限制面积是有棱角的，而最小二乘法画出的参数面积与其的交点铁定在坐标轴上，这就导致了许多参数为0 。由于Lasso回归生成稀疏模型，因此可以用来选取特征。

弹性网络（Elastic Net）

Elastic Net将L1和L2范数都设为正则项。当有多个特征相互关联时，Lasso会随机从中选取一个特征，而Elastic Nec则会选取两个。Elastic Net继承了Ridge回归对旋转的稳定性。

参考

http://scikit-learn.org/stable/modules/linear_model.html