岭回归、lasso回归、ElasticNet回归概念整理

1.引入

为了防止过拟合的现象出现，引入正则化方法。

（1）岭回归就是引入L2正则化项

（2）lasso回归就是引入L1正则化项

（3）ElasticNet回归就是引入L1和L2正则化项（lasso和ridge回归组合）。

公式：

2.概念

将下面之前先来了解一下什么叫L0/L1/L2范数
L0:向量中非零元素个数
L1:向量中各元素的绝对值之和（美称‘稀疏规则算子’）
L2:向量中各元素的平方和后再对和开平方（有点像欧式距离）

3.比较

      岭回归（Ridge ）与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项，Lasso回归引入的是L1范数惩罚项，Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。

      ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如Lasso, 但是又能保持Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个，而弹性网络更倾向于选择两个.在实践中，Lasso 和岭回归之间权衡的一个优势是它允许在循环过程（Under rotate）中继承岭回归的稳定性.

4.源码

稍后补充