scikit-learn Linear models

最小二乘法回归

此时假设的是变量间独立,不然会对随机误差超级敏感。

This situation of multicollinearity can arise, for example, when data are collected without an experimental design.
对于自己设计的数据可能不太会出现这个问题(用函数加一点小噪声生成),但对于实际的数据,要考虑多重共线性的问题

岭回归

共线性对模型参数有影响,尤其是高度病态矩阵(变量变化一点会导致输出权重有巨大差异)。设置正则化项可以减少这些噪声的影响。岭回归的正则项为L2范数。当正则化项的系数非常大,则正则化项为主导项,coefficient会趋向于0,当正则化系数接近0时,则岭回归退化成最小二乘法。

岭回归的参数设置

交叉验证可以用RidgeCV

Lasso

Lasso的正则化项为参数的绝对值之和。这样子画出来的限制面积是有棱角的,而最小二乘法画出的参数面积与其的交点铁定在坐标轴上,这就导致了许多参数为0 。由于Lasso回归生成稀疏模型,因此可以用来选取特征。

弹性网络(Elastic Net)

Elastic Net将L1和L2范数都设为正则项。当有多个特征相互关联时,Lasso会随机从中选取一个特征,而Elastic Nec则会选取两个。Elastic Net继承了Ridge回归对旋转的稳定性。

参考

http://scikit-learn.org/stable/modules/linear_model.html

你可能感兴趣的:(scikit)