（Ridge， Lasso） Regression

岭回归

岭回归 的损失函数   MSE+L2

岭回归还是多元线性回归

y = wTx

只不过损失函数MSE添加了损失项

w越小越好？

因为为了提高模型的泛化能力（容错能力），w越小越好

因为如果x1有错，w越小，对y的影响越小

但是w为0 没意义，所以w要适当

保证准确率的情况下提高泛化能力和容错能力

多元线性回归通过MSE（最小二乘 least squares）保证正确率

但是我们还需要模型提高泛化能力  提高泛化能力

min((y-y_hat)^2 + w^2)   

通过上面的函数min（mse+w^2）,均衡准确率和泛化能力

如果==0  说明不看重损失项，此时损失函数就是MSE  ，一般情况下，设置为0.4

一般添加了正则项，会导致已有数据的准确率下降，但是因为提高了泛化能力，所以未来的数据的准确率会上升

Lasso Regression

Lasso回归的损失函数为 MSE+L1

一般情况下  如果考虑泛化能力  会采用L2, L1一般用于特征选择

L1会使有的w趋近于0   有的趋近于1，  主要用于降维和特征选择

Elastic Net

使用情况：在不知道加L1还是L2的情况下，自己调整参数就可以了

兼顾L1 和 L2

通过参数调整  决定更看重L1 还是 L2