机器学习笔记之线性回归——正则化介绍与岭回归

引言

在线性回归介绍中提到了用于线性回归求解拟合方程参数$\mathcal{W}$的一种工具——最小二乘法，本节将介绍使用最小二乘法求解线性回归任务中的问题，并介绍岭回归(Ridge Regression)。

回顾：最小二乘法

最小二乘法是求解线性回归拟合方程参数$\mathcal{W}$的一种常用工具。假设数据集合$Data$表示如下：
$$Data=\{(x^{(i)},y^{(i)}){|}_{i=1,2,\cdots ,N}\}$$
令数据集合$Data$的拟合方程为$F(\mathcal{W})={\mathcal{W}}^T{x}^{(i)}，$那么最小二乘法的表示结果如下：
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2$$
求解最优模型参数$\hat{\mathcal{W}}$的一般形式表示如下：
$$\hat{\mathcal{W}}=({\mathcal{X}}^T\mathcal{X}{)}^{-1}{\mathcal{X}}^T\mathcal{Y}$$
其中，$\mathcal{X},\mathcal{Y}$分别是自变量、因变量的集合：
$$\mathcal{X}=(x^{(1)},x^{(2)},\cdots ,x^{(N)}{)}^T={\left(\begin{array}{c}{x}_1^{(1)},x_2^{(1)},\cdots ,x_p^{(1)}\\ x_1^{(2)},x_2^{(2)},\cdots ,x_p^{(2)}\\ ⋮\\ x_1^{(N)},x_2^{(N)},\cdots ,x_p^{(N)}\end{array}\right)}_{N\times p},\mathcal{Y}={\left(\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(N)}\end{array}\right)}_{N\times 1}$$

最小二乘法的弊端

观察$\hat{\mathcal{W}}$的一般式，由于$\mathcal{X}$是一个$N\times p$的矩阵，因此${\mathcal{X}}^T\mathcal{X}$毫无疑问是一个$N\times N$的实对称矩阵。
通常情况下，样本数量$N$远远大于样本维度$p$，这样才能尽可能地保证有限的特征空间中分布着大量样本。从而使${\mathcal{X}}^T\mathcal{X}$矩阵结果的特征值大概率不等于0，从而使得${\mathcal{X}}^T\mathcal{X}$是可逆的，最终顺利求解最优参数$\hat{\mathcal{W}}$。

但真实情况可能存在样本维度$p$远远大于样本数量$N$。可以想象一下，在极大的特征空间分布着少量样本，这必然会使特征空间内部样本分布非常稀疏。

$p>>N$产生的样本分布稀疏 会出现哪些具体问题？

• 样本分布稀疏很可能导致某一维度可能只有极少数样本的分量。在这种情况下，求解${\mathcal{X}}^T\mathcal{X}$过程中，出现某一维度特征值为0的概率更高。
  此时的${\mathcal{X}}^T\mathcal{X}$结果不是满秩的，自然也是不可逆的。从而导致使用一般式求解最优参数$\hat{\mathcal{W}}$是行不通的。
• 假设在上述特征空间稀疏情况下，运气很好，自变量对应的${\mathcal{X}}^T\mathcal{X}$是可逆的。从而确实能够求解最优参数$\hat{\mathcal{W}}$。但是由于 特征空间的稀疏性，导致得到的拟合方程$f(\mathcal{W})$中的$\mathcal{W}$和真正的概率模型$P(y^{(i)}\mid x^{(i)};\mathcal{W})$中的$\mathcal{W}$相差很大。具体表现在：
  对于当前数据集合$Data$，$f(\mathcal{W})$能够给出不错的拟合结果，但如果一个新样本使用$f(\mathcal{W})$执行预测，预测结果可能与真实结果相差很大。我们称这种现象为 过拟合现象(overfitting)。

处理过拟合现象的常用方法

上面介绍了产生过拟合现象的核心原因是特征空间内部样本分布稀疏，针对该问题，有3种常用方式：

• 既然样本分布稀疏，最直观的思路就是增加数据。随着训练数据的增加，会使模型参数$\mathcal{W}$学习过程中更加稳定，逐渐逼近最优模型参数$\hat{\mathcal{W}}$。
  虽然这种方式是最直观的，但是它的弊端也是显而易见的：

  • 增加数据意味着更高的收集数据成本(人力、时间)；
  • 由于样本维度$p>>$样本数量$N$，维度的增加伴随需要的数据量是指数级别的增长，可能存在增加后的数据量依然远远没有达到特征空间的需要。基于这个问题，我们引出第二种常用方式：降维。

• 降维(特征选择、特征提取)：我们对于样本空间内部数据的期望分布趋向于样本均匀地、遵循某种规律地分布在特征空间中。如果增加数据远远无法满足特征空间的需要，另一个思路是 剔除掉无关/对标签影响较小的特征信息。
  该部分在后续介绍‘降维’中详细介绍。

• 正则化：正则化本质是对拟合方程中模型参数$\mathcal{W}$的一种约束。为什么要加这种约束？增加这种约束是如何优化过拟合现象的？

正则化

重新观察最小二乘法，最优模型参数$\hat{\mathcal{W}}$满足的条件是让$\mathcal{L}(\mathcal{W})$取到最小值：
$$\begin{gathered} \mathcal{L}(\mathcal{W})=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2 \\ \hat{\mathcal{W}}=\underset{\mathcal{W}}{\mathrm{argmin}}\mathcal{L}(\mathcal{W}) \end{gathered}$$

我们发现可能存在一种情况：满足上述条件的$\hat{\mathcal{W}}$可能不止一个。即可能存在若干个最优参数${\hat{\mathcal{W}}}^{(1)},{\hat{\mathcal{W}}}^{(2)},\cdots ,{\hat{\mathcal{W}}}^{(k)}$均可以使$\mathcal{L}(\mathcal{W})$达到最小：
$$\mathcal{L}({\hat{\mathcal{W}}}^{(1)})=\mathcal{L}({\hat{\mathcal{W}}}^{(2)})=\cdots =\mathcal{L}({\hat{\mathcal{W}}}^{(k)})=\underset{\mathcal{W}}{\mathrm{argmin}}\mathcal{L}(\mathcal{W})$$

为什么会出现这种情况？原因也很直观：数据是有随机性的、存在噪声的。在上一节提到过，如果数据不存在任何噪声，均完美遵循概率模型的规律，那么最优参数自然只有唯一一个，但这样的数据没有实际意义。

回到上式，既然$k$个模型参数${\hat{\mathcal{W}}}^{(i)}(i=1,2,\cdots ,k)$都能使$\mathcal{L}(\mathcal{W})$达到最小，是不是它们都是最优模型呢？

自然不是。这些模型参数使$\mathcal{L}(\mathcal{W})$达到最小所带来的影响是：基于${\hat{\mathcal{W}}}^{(i)}(i=1,2,\cdots ,k)$构建的拟合方程充其量在数据集合$Data=\{(x^{(i)},y^{(i)}){\mid }_{i=1,2,\cdots ,N}\}$中能够达到不错的效果。但如果数据集合外的样本使用拟合模型进行预测，那么 $\hat{\mathcal{W}}$的大小必然会影响到判断结果。

并且集合外的样本自身同样存在噪声，如果某一最优参数${\hat{\mathcal{W}}}^{(j)}$是个 数值较大的参数，在使用拟合方程${\hat{\mathcal{W}}}^{(j)}x$预测过程中 势必会扩大噪声信息。

接下来的思路就很朴素了：从上述集合中找出一款参数较小的结果构建拟合方程。但这种做法势必会增加算法的复杂度；
不能一个一个随机试下去，找出一个最小的，时间复杂度太高了；并且它不是迭代过程，能不能试出结果小的纯凭运气～

干脆设计一个规则：干脆人工划定模型参数$\mathcal{W}$的取值范围，$\mathcal{W}$只能在某一范围内取值，这样就可以缓解$\mathcal{W}$数值过大的情况出现。

正则化设计思路与常见正则化

我们常见的正则化方法是$L_1,L_2$正则化。其本质思路是通过$L_1,L_2$范数约束模型参数的取值范围。$L_1,L_2$范数公式表示如下：
$$\begin{array}{rl}||\mathcal{W}|{|}_1& =|w_1|+|w_2|+\cdots +|w_k|\\ ||\mathcal{W}|{|}_2& =\sqrt{|w_1{|}^2+|w_2{|}^2+\cdots +|w_k{|}^2}\end{array}$$
其中，$w_i(i=1,2,\cdots ,k)$表示模型参数$\mathcal{W}$各个维度结果。实际上，并不只包含这两种正则化，例如$L_p$正则化：

$$||\mathcal{W}|{|}_p=\sqrt[p]{|w_1{|}^p+|w_2{|}^p+\cdots +|w_k{|}^p}(p>0)$$
我们发现，$L_1,L_2$范数就是$L_p$正则化中$p=1,2$的情况。以模型参数$\mathcal{W}$ 是2维向量示例：

• 当$p<1$时，$L_p$范数在坐标系中围成的形状是非凸集，$p>1$时围成的形状是凸集；
• $L_1,L_2$范数围成的形状具有代表性：$L_1$围成的形状是菱形，而$L_2$范数是圆形；
  该部分在后续单独介绍正则化时详细介绍。

正则化框架

正则化框架本质上仍然和最小二乘法一样，都是求解模型参数的工具，甚至是辅助工具。
正则化框架具体公式表示如下：
$$\underset{\mathcal{W}}{\mathrm{argmin}}\left[\mathcal{L}(\mathcal{W})+\lambda P(\mathcal{W})\right]$$
其中，$\mathcal{L}(\mathcal{W})$表示损失函数(loss function)，$P(\mathcal{W})$表示惩罚项(penalty)。在线性回归中，常用的基于最小二乘法的正则化框架有如下两种：
$$\begin{gathered} \underset{\mathcal{W}}{\mathrm{argmin}}\left[\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2+\lambda ||\mathcal{W}|{|}_1\right] \\ \underset{\mathcal{W}}{\mathrm{argmin}}\left[\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2+\lambda ||\mathcal{W}|{|}_2^2\right] \end{gathered}$$

称第一种为$Lasso$回归；它使用的是$L_1$范数($P(\mathcal{W})=||\mathcal{W}|{|}_1$)；
称第二种为$RidgeRegression$，也称岭回归；它使用的是$L_2$范数($P(\mathcal{W})=||\mathcal{W}|{|}_2^2={\mathcal{W}}^T\mathcal{W}$)；
根号sqrt()是一个单调递增函数，并且和$\mathcal{W}$无关，因此在使用正则化时，更多时候使用$||\mathcal{W}|{|}_2^2={\mathcal{W}}^T\mathcal{W}$而不是$||\mathcal{W}|{|}_2=\sqrt{{\mathcal{W}}^T\mathcal{W}}$

本节将最小二乘法替换为 岭回归-最小二乘法的正则化框架，观察模型最优参数$\hat{\mathcal{W}}$和之前的差别。

推导过程

基于岭回归-最小二乘法的正则化框架表示如下：
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2+\lambda ||\mathcal{W}|{|}_2^2$$

将第一项写为矩阵乘法 的格式，同时将$||\mathcal{W}|{|}_2^2$写成${\mathcal{W}}^T\mathcal{W}$格式：
$$\begin{array}{rl}||\mathcal{W}|{|}_2^2& =|w_1{|}^2+|w_2{|}^2+\cdots +|w_p{|}^2=(w_1,w_2,\cdots ,w_p)\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_p\end{array}\right)={\mathcal{W}}^T\mathcal{W}\\ \mathcal{L}(\mathcal{W})& =({\mathcal{W}}^T{\mathcal{X}}^T-{\mathcal{Y}}^T)(\mathcal{X}\mathcal{W}-\mathcal{Y})+\lambda {\mathcal{W}}^T\mathcal{W}\end{array}$$
将上式展开(推导过程详见传送门)：
$${\mathcal{W}}^T{\mathcal{X}}^T\mathcal{X}\mathcal{W}-2{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}+{\mathcal{Y}}^T\mathcal{Y}+\lambda {\mathcal{W}}^T\mathcal{W}$$

将含${\mathcal{W}}^T\mathcal{W}$项合并(其中$\mathcal{I}$表示 单位矩阵)：
$${\mathcal{W}}^T({\mathcal{X}}^T\mathcal{X}+\lambda \mathcal{I})\mathcal{W}-2{\mathcal{W}}^T{\mathcal{X}}^T\mathcal{Y}+{\mathcal{Y}}^T\mathcal{Y}$$

目标依然是求解$\hat{\mathcal{W}}=\underset{\mathcal{W}}{\mathrm{argmin}}\mathcal{L}(\mathcal{W})$，因此对$\mathcal{W}$求导：
$\mathcal{Y}$中不含$\mathcal{W}$，因此视为常数。
$$\frac{\partial \mathcal{L}(\mathcal{W})}{\partial \mathcal{W}}=2({\mathcal{X}}^T\mathcal{X}+\lambda \mathcal{I})\mathcal{W}-2{\mathcal{X}}^T\mathcal{Y}$$

令$\frac{\partial \mathcal{L}(\mathcal{W})}{\partial \mathcal{W}}\triangleq 0$，则有：
$$\hat{\mathcal{W}}=({\mathcal{X}}^T\mathcal{X}+\lambda \mathcal{I}{)}^{-1}{\mathcal{X}}^T\mathcal{Y}$$

由于${\mathcal{X}}^T\mathcal{X}$是实对称矩阵，因此将${\mathcal{X}}^T\mathcal{X}$进行特征值分解后，对角线的元素就是该矩阵的特征值==：
$${\mathcal{X}}^T\mathcal{X}=\mathcal{Q}\Lambda {\mathcal{Q}}^T$$
其中$\mathcal{Q}$是$p\times p$的正交矩阵，其每一列都是${\mathcal{X}}^T\mathcal{X}$的特征向量。并且存在如下性质：
$$\mathcal{Q}{\mathcal{Q}}^T=\mathcal{I}$$
将$\lambda \mathcal{I}$进行如下变换：
中间多乘了一个‘单位向量’，并不能影响其结果。
$$\begin{array}{rl}\lambda \mathcal{I}& =\lambda \cdot \mathcal{Q}{\mathcal{Q}}^T\\ & =\lambda \cdot \mathcal{Q}\cdot \mathcal{I}\cdot {\mathcal{Q}}^T\\ & =\mathcal{Q}(\lambda \mathcal{I}){\mathcal{Q}}^T\end{array}$$
将$\lambda \mathcal{I}$展开结果代入原式中：
由于$\mathcal{Q}$是正交矩阵，因而有${\mathcal{Q}}^T={\mathcal{Q}}^{-1},({\mathcal{Q}}^T{)}^{-1}=({\mathcal{Q}}^T{)}^T=\mathcal{Q}$。
$$\begin{array}{rl}\hat{\mathcal{W}}& =({\mathcal{X}}^T\mathcal{X}+\lambda \mathcal{I}{)}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & ={\left[\mathcal{Q}\Lambda {\mathcal{Q}}^T+\mathcal{Q}(\lambda \mathcal{I}){\mathcal{Q}}^T\right]}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & ={\left[\mathcal{Q}(\Lambda +\lambda \mathcal{I}){\mathcal{Q}}^T\right]}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & =({\mathcal{Q}}^T{)}^{-1}(\Lambda +\lambda \mathcal{I}){\mathcal{Q}}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & =\mathcal{Q}(\Lambda +\lambda \mathcal{I}{)}^{-1}{\mathcal{Q}}^T{\mathcal{X}}^T\mathcal{Y}\end{array}$$
再次对比未加正则化的最小二乘法中最优参数$\hat{\mathcal{W}}$：
这里将$({\mathcal{X}}^T\mathcal{X}{)}^{-1}{\mathcal{X}}^T\mathcal{Y}$也转化成‘特征值分解的形式’：
$$\begin{array}{rl}\hat{\mathcal{W}}& =({\mathcal{X}}^T\mathcal{X}{)}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & =(\mathcal{Q}\Lambda {\mathcal{Q}}^T{)}^{-1}{\mathcal{X}}^T\mathcal{Y}\\ & =\mathcal{Q}{\Lambda }^{-1}{\mathcal{Q}}^T{\mathcal{X}}^T\mathcal{Y}\\ \hat{\mathcal{W}}& =\{\begin{array}{l}\mathcal{Q}{\Lambda }^{-1}{\mathcal{Q}}^T{\mathcal{X}}^T\mathcal{Y}\\ \mathcal{Q}(\Lambda +\lambda \mathcal{I}{)}^{-1}{\mathcal{Q}}^T{\mathcal{X}}^T\mathcal{Y}\end{array}\end{array}$$

实际上两者在对角阵部分中各元素只差一个$\lambda$。这个$\lambda$有什么作用？
重新观察${\mathcal{X}}^T\mathcal{X}$，虽然它是实对称矩阵，但不一定是正定矩阵，即该矩阵的特征值不一定均大于0。如果存在特征值等于0，则 ${\mathcal{X}}^T\mathcal{X}$不是满秩矩阵，从而无法求解矩阵的逆${\Lambda }^{-1}$。

但如果特征值各元素加入一个恒大于0的$\lambda$，那么能保证对角阵上的元素均大于0恒成立。即矩阵$(\Lambda +\lambda \mathcal{I}{)}^{-1}$是可逆的。从而${\mathcal{X}}^T\mathcal{X}$的逆矩阵必然存在。

这种做法完全解决了最小二乘法的弊端，从而对最优结果进行约束。

相关参考：
机器学习-白板推导系列(三)-线性回归
特征分解-百度百科
王木头学科学——从权重衰减角度理解正则化
正交矩阵-百度百科