Lasso

Lasso

在岭回归中,是对w的2范数做约束,就是把约束条件限制在一个球里。放缩是对球的半径的放缩,因此w的每一个维度躲在以同一系数放缩,通过放缩不会产生稀疏的解,即某一w为0。
  在实际运用中,数据的维度是存在噪声和冗余的,稀疏的解找到有用的维度并减少冗余,提高回归预测的鲁棒性和准确性。

特点

擅长处理具有多重共线性的数据,筛选变量,与岭回归一样是有偏估计。

lasso回归表达式


  与岭回归的区别主要在其表达式上,其惩罚函数是一个β的一阶函数
将其转换为一个约束项


Lasso_第1张图片

  t和λ也是一一对应的,λ增大的过程就是t减小的过程
其几何表现形式


Lasso_第2张图片

  由于方框的顶点更容易交于抛物面,也就是lasso更易求解,而该顶点对应的很多系数为0,也就起到了筛选变量的作用。

岭回归和lasso回归过程对比

Lasso_第3张图片

  左图为岭回归,右图为lasso回归
  横轴越往左,自由度越小(即圆或方框在收缩的过程),λ越大,系数(即纵轴)会越趋于0。但是岭回归没有系数真正为0,但lasso的不断有系数变为0.

你可能感兴趣的:(Lasso)