弹性网络

弹性网络在线性回归的基础上加上了一个$l_2$和一个$l_1$。这种组合用于只有很少的权重非零的稀疏模型，比如Lasso, 但是又能保持Ridge 的正则化属性。

当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个，而弹性网络更倾向于选择两个.

在实践中，Lasso 和 Ridge 之间权衡的一个优势是它允许在循环过程（Under rotate）中继承 Ridge 的稳定性.

损失函数：$$J(\theta )=\frac{1}{2m}||X\theta -y|{|}_2^2+\alpha \rho ||\theta |{|}_1+\frac{\alpha (1-\rho )}{2}||\theta |{|}_2^2$$

Python实现 TODO

import numpy as np