机器学习 - 回归 岭回归 RidgeRegression和Lasso（学习笔记）

什么是范数？

范数又称为“正则项”，它是机器学习中会经常遇到的术语，它表示了一种运算方式，“范数”的种类有很多，不过常见的范数主要分为两种：L1 和 L2。下面我们来分别认识一下它们。

1) L1范数

L1 范数非常容易理解，它表示向量中每个元素绝对值的和，根据定义，L1 范数的计算分两步，首先逐个求得元素的绝对值，然后相加求和即可。下面给出了 L1 范数正则化定义的数学表达式，如下所示：

2) L2范数

L2 范数出现的频率更高，表示向量中每个元素的平方和的平方根。根据定义，L2 范数的计算分三步，首先逐个求得元素的平方，然后相加求和，最后求和的平方根。L2范数正则化定义的数学表达式如下： 

岭回归算法

主要用于预测回归问题，是在线性回归的基础上添加了 L2 正则项，使得权重 w 的分布更加均匀，其损失函数如下：

Lasso 回归算法

使用了 L1 正则项的线性回归是 Lasso 回归算法，它可以预测回归问题，其损失函数的表达式如下（求最小损失值）： 

上述表达式的左侧与 Ridge 回归算法的损失函数基本一致，只是将右侧的 L2 范数替换成了 L1 范数，而且左侧式子相比线性回归表达式而言，多了一个1/2，但实际的优化过程中，它并不会对权重 w 产生影响。