回归算法对比

线性回归

优点：建模迅速，对于小数据量、简单的关系很有效；易理解。

缺点：不能处理非线性；不能处理数据特征间具有相关性的多项式回归；难以表达高度复杂的数据。

---

岭回归

算法流程

平方误差

矩阵形式

对A求导：

最小二乘法

由于样本数量n约等于特征数量p时，易过拟合。

岭回归在平房误差基础上增加正则项，通过确定的值来平衡偏差和方差。

新的误差公式

注：I为对角矩阵

优点：可以解决特征数量>样本量多的过拟合问题；可以判断特征的重要程度；增加偏差的同时减小方差。

缺点：它缩小了系数的值，但没有达到零，这表明没有特征选择功能。

适用：用于过拟合严重或各变量之间存在多重共线性的情况。

---

LASSO回归

与岭回归的正则项不同

L1正则

优点：L1范数倾向于产生稀疏系数，能起到“降维”的作用；比Ridge效率高