线性模型第4讲：弹性网络

论文合作、课题指导请联系QQ2279055353

弹性网络(Elastic-Net)是一种线性模型，它在目标函数里同时使用l1, l2惩罚项。这样的组合既学习了一个稀疏的模型(类似Lasso), 同时也保持了岭回归的正则属性。其目标函数是
$$\underset{w}{\min }\frac{1}{2n}\Vert Xw-y{\Vert }_2^2+\alpha \rho \Vert w{\Vert }_1+\frac{\alpha (1-\rho )}{2}\Vert w{\Vert }_2^2$$

在弹性网络里，我们使用参数l1_ratio控制l1, l2的凸组合。当模型里有多个相关的特征时，Lasso倾向随即地选择它们中的一个，而Elastic-Net则是都选。可以把Elastic-Net看作是Lasso与Ridge模型的折中。ElasticNetCV类使用交叉验证法确定参数 $\alpha$ 与l1_ratio $\rho$.

多任务弹性网络

MultiTaskElasticNet类是一个使用多重回归估计稀疏系数的弹性网络模型。这里的y是一个(n_samples, n_tasks)的数组。它的目标函数是
$$\underset{W}{\min }\frac{1}{2n}\Vert XW-Y{\Vert }_{Fro}^2+\alpha \rho \Vert W{\Vert }_{21}+\frac{\alpha (1-\rho )}{2}\Vert W{\Vert }_{Fro}^2$$

MultiTaskElasticNet使用coordinate descent算法拟合系数。MultiTaskElasticNetCV类使用交叉验证法确定参数。

最小角回归

最小角回归(Least-angle regression, LARS)是一种高维数据的回归方法。在每一步，它找到与target最相关的特征。当多个特征具有相同的相关性时，它取一个与这些特征等角的方向。LARS的优点有：

• 当特征数远多于样本数是，它是一种有效的方法。
• 它在计算上与向后选择法一样快，与普通最小二乘法有同阶的复杂度。
• 它在交叉验证里特别有效。
  LARS的弱点在于：由于LARS依赖迭代地对残差重新拟合，因此它对noise数据特别敏感。

LARS Lasso

LassoLars类是一个执行最小角算法的Lasso模型。现在，举一个简单的数值例子：