经典机器学习算法：线性回归

线性回归

假设数据集为：
$$\mathcal{D}=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$
后面我们记：
$$X=(x_1,x_2,\cdots ,x_N{)}^T,Y=(y_1,y_2,\cdots ,y_N{)}^T$$
线性回归假设：
$$f(w)=w^{T}x$$

几何视角

最小二乘估计（最小二乘法）

对这个问题，采用二范数定义的平方误差来定义损失函数：
$$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2$$
展开得到：
$$\begin{array}{rl}L(w)& =(w^T{x}_1-y_1,\cdots ,w^T{x}_N-y_N)\cdot (w^T{x}_1-y_1,\cdots ,w^T{x}_N-y_N{)}^T\\ & =(w^T{X}^T-Y^T)\cdot (Xw-Y)=w^T{X}^{T}Xw-Y^{T}Xw-w^T{X}^{T}Y+Y^{T}Y\\ & =w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y^{T}Y\end{array}$$
最小化这个值的 $\hat{w}$ ：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmin}}L(w)& ⟶\frac{\partial }{\partial w}L(w)=0\\ & ⟶2X^{T}X\hat{w}-2X^{T}Y=0\\ & ⟶\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y=X^{+}Y\end{array}$$
这个式子中 $(X^{T}X{)}^{-1}{X}^T$ 又被称为伪逆。对于行满秩或者列满秩的 $X$，可以直接求解，但是对于非满秩的样本集合，需要使用奇异值分解（SVD）的方法，对 $X$ 求奇异值分解，得到
$$X=U\Sigma V^T$$
于是：
$$X^{+}=V{\Sigma }^{-1}{U}^T$$
在几何上，最小二乘法的模型相当于高维空间上的一根线和训练集的Y的距离的平方求和。

p维空间理解

假设我们的数据集样本是一个 $p$ 维空间（满秩的情况）：$X=Span(x_1,\cdots ,x_N{)}^T$，$x_i=(x_i^1,x_i^2,\cdots ,x_i^p),$而模型可以写成 $f(w)=w^{T}X=X\beta$，也就是 $x_1,\cdots ,x_N$ 的某种线性组合。

对于一个输入样本来说，$x_i$就是在$p$维空间上的一个向量，它在模型的输出就是$x_i{\beta }_i$，$x_i{\beta }_i$也应该在$p$维空间内，且$x_i{\beta }_i$应当与我们的目标向量$y_i$非常接近，由于$y_i$是固定的，$x_i{\beta }_i$是在我们的$p$维空间上的，假设$y_i$在$p$维空间上，我们的$x_i{\beta }_i$的目标就是$y_i$，现实情况下$y_i$不在$p$维空间内，我们的目标就是接近它，拟合它在p维空间上的投影，因此两个向量的差和$p$维空间是垂直的。

接下来给出$N$个样本，也就是$X$的推导：
$$X^T\cdot (Y-X\beta )=0⟶\beta =(X^{T}X{)}^{-1}{X}^{T}Y$$

概率视角

噪声为高斯分布的MLE（频率学派）

先给结论，最小二乘法等价于噪声为高斯分布的MLE

对于一维的情况，记 $y=w^{T}x+ϵ,ϵ\sim \mathcal{N}(0,{\sigma }^2)$，那么 $y\sim \mathcal{N}(w^{T}x,{\sigma }^2)$。代入极大似然估计中：
$$\begin{array}{rl}L(w)=\log p(Y|X,w)& =\log \prod _{i=1}^{N}p(y_i|x_i,w)\\ & =\sum _{i=1}^N\log (\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}})\\ \underset{w}{\mathrm{argmax}}L(w)& =\underset{w}{\mathrm{argmin}}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\end{array}$$
这个表达式和最小二乘估计得到的结果一样。

权重先验也为高斯分布的 MAP（贝叶斯学派）

MAP是在前面MLE的基础上，再给予权重一个先验概率分布。

取先验分布 $w\sim \mathcal{N}(0,{\sigma }_0^2)$。于是：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}p(w|Y)& =\underset{w}{\mathrm{argmax}}p(Y|w)p(w)\\ & =\underset{w}{\mathrm{argmax}}\log p(Y|w)p(w)\\ & =\underset{w}{\mathrm{argmax}}(\log p(Y|w)+\log p(w))\\ & =\underset{w}{\mathrm{argmin}}[(y-w^{T}x{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}{w}^{T}w]\end{array}$$
这里省略了 $X$，$p(Y)$和 $w$ 没有关系，同时也利用了上面高斯分布的 MLE的结果。

我们将会看到，超参数 ${\sigma }_0$的存在和下面会介绍的 Ridge 正则项可以对应，同样的如果将权重的先验分布取为 Laplace 分布，那么就会得到和 L1 正则类似的结果。

正则化

在实际应用时，如果样本容量不远远大于样本的特征维度，很可能造成过拟合，对这种情况，我们有下面三个解决方式：

1. 加数据
2. 特征选择（降低特征维度）如 PCA 算法。
3. 正则化

正则化一般是在损失函数（如上面介绍的最小二乘损失）上加入正则化项（表示模型的复杂度对模型的惩罚），下面我们介绍一般情况下的两种正则化框架。
$$\begin{array}{rl}L1& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_1,\lambda >0\\ L2& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_2^2,\lambda >0\end{array}$$
下面对最小二乘误差分别分析这两者的区别。

L1 Lasso

L1正则化可以引起稀疏解。

从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另一个方面看，L1 正则化相当于：
$$\begin{gathered} \underset{w}{\mathrm{argmin}}L(w) \\ s.t.||w|{|}_1<C \end{gathered}$$
我们已经看到平方误差损失函数在 $w$ 空间是一个椭球，因此上式求解就是椭球和 $||w|{|}_1=C$的切点，因此更容易相切在坐标轴上。

L2 Ridge

L2正则化、岭回归、权值衰减
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmin}}L(w)+\lambda w^{T}w& ⟶\frac{\partial }{\partial w}L(w)+2\lambda w=0\\ & ⟶2X^{T}X\hat{w}-2X^{T}Y+2\lambda \hat{w}=0\\ & ⟶\hat{w}=(X^{T}X+\lambda \mathbb{I}{)}^{-1}{X}^{T}Y\end{array}$$

可以看到，这个正则化参数和前面的 MAP 结果不谋而合。利用2范数进行正则化不仅可以是模型选择 $w$ 较小的参数，同时也避免 $X^{T}X$不可逆的问题（因为半正定矩阵加上了一个对角矩阵是正定矩阵）。

小结

传统的机器学习方法或多或少都有线性回归模型的影子：

1. 打破线性，线性模型往往不能很好地拟合数据，因此有三种方案克服这一劣势：
   1. 属性非线性，对特征的维数进行变换，例如多项式回归模型就是在线性特征的基础上加入高次项。（多项式回归，二次、三次）
   2. 全局非线性，在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数。（激活函数是非线性）
   3. 系数非线性，对于一致的线性系数，我们进行多次变换，这样同一个特征不仅仅被单个系数影响。（神经网络）
2. 打破全局性，线性回归在整个样本空间都是线性的，我们修改这个限制，在不同区域引入不同的线性或非线性。（线性样条回归和决策树模型）
3. 加工数据，线性回归中使用了所有的样本，但是对数据预先进行加工学习的效果可能更好（所谓的维数灾难，高维度数据更难学习）（ PCA 算法和流形学习）

最小二乘法是几何视角，等价于概率角度的频率派出发的噪声为高斯分布的MLE。正则化跟贝叶斯学派出发的MAP证明的不谋而合，加上正则化的最小二乘法等价于MAP，也说明了后者在机器学习中的理论正确性与重要性。