LASSO和LARS

1、LASSO简介

　　 LASSO是一种经典的松弛算法，其全称是The Least Absolute Shrinkage and Selectionator operator，于1996年由Tibshirani提出来。lasso的一个根本思想就是利用L1范式来诱导稀疏解，下面给出lasso的两种形式以及其等价性证明，至于lambda和t的对应关系以后再给出。
　　
　　这张图片由Le.Han老师提供，但是老师的证明略显复杂了，实际上就是要证明任给一个t都会找到一个lambda使得两个式子的最优解是相同的，也就是说左边式子的最优解是右边式子的最优解，而右边式子的最优解是左边式子的最优解。分两步即可证明。但是Le.Han老师给出的证明是有问题的，感谢Fangzishen师兄提出的lambda和t应该怎么找的建议，目前来说还没有想明白，之后可以更新，所以这个证明还不能算得上是十分完整。

2、lasso的解和LARS算法

　　对于含有t的形式，我们可以利用LARS（最小角回归）算法，该算法能在很短的速度算出最优解，注意到这个问题是凸的，所以局部最优解和全局最优解是相等的。该算法的思路就是寻找y和xi（x的某个分量）的最小夹角，这样的话只要n（n表示x的维数）步就可以找到最优解。
　　对于含有lambda的形式，当X是正交的情形，只要对X求导（注意X的L1范式是求次梯度）就可以得出解得表达式；但是当X是一般的矩阵的情形，就只能利用解优化问题凸问题的方法，或者将其转化为含有t的形式进行求解。

-