Lasso求解

参考文献

（一）Lasso 闭式解

从Lasso开始说起
5. Lasso三种求解方法：闭式解、LARS、CD

（二）坐标下降法 Coordinate Descent

Lasso回归的坐标下降法推导

次要参考文献

坐标下降法中要用到“次梯度”的概念：
次梯度（subgradient）方法

函数 $f(x)$ 不一定是处处可导的，但是一定存在次导数。对 $f(x)$ 定义域内的任何点 $x_0$, 总可以作出一条直线，它通过点 $(x_0,f(x_0))$，并且要么接触 $f(x)$ 的图像，要么在它的下方。这条直线的斜率称为函数的次导数。

eg: 考虑凸函数 $f(x)=|x|$. 在原点 $x_0=0$ 的次微分是区间 $[-1,1]$. $x_0<0$ 时，次微分是单元素集合{-1}；而 $x_0>0$时，次微分则是单元素集合{1}。