Ridge & LASSO & Elastic Net

总结来说，Ridge、LASSO、Elastic Net是线性回归的三种方法，添加了不同惩罚因子的损失函数J(θ)。

首先简单介绍线性回归的相关概念。

损失函数（目标函数）：

为了防止过拟合（θ过大），在目标函数J(θ)后添加复杂度惩罚因子，也就是正则项。
正则项可以使用l1-norm、l2-norm，或结合l1-norm、l2-norm。
这就分别对应Ridge（岭回归）、LASSO和Elastic Net。

Ridge：使用l2-norm进行正则

LASSO：使用l1-norm进行正则

特别地，LASSO有特征选择、降维的作用，在后面进行解释。

Elastic Net：结合l1-norm、l2-norm进行正则

结合了LASSO的特征选择作用，和Ridge较好的效果。

解释LASSO的特征选择作用
特征选择，也就是为了得到一个较为稀疏的解，也就是使θj尽量小，小于一个给定的ε。
P.S.在这里特征是指θ1，θ2，…，θn
直观上，为了得到稀疏解，首先可以考虑count（θ1，θ2，…，θn）中不为0的个数，也就是l0-norm。但这是一个NP问题。
所以，将l0-norm近似成l1-norm，即

所以，l1-norm有特征选择、降维的作用。