（最优化理论与方法）第三章优化建模-第二节：回归分析

一：概述

（1）回归分析概述

回归分析：在统计学和大数据中回归分析的定义分别为

• 统计学：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照设计变量多少，分为一元回归和多元回归分析；按照因变量的多少，可以分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系，可以分为线性回归分析和非线性回归分析
• 大数据：在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系

（2）回归分析描述

回归分析：一般的回归分析可以写成如下形式，其含义为响应变量$b$与自变量$a$通过函数$f$联系在一起

$$b=f(a)+\xi$$

• $a\in R^d$为自变量
• $b\in R$为响应变量
• $\xi$是模型的噪声（误差）
• 在实际问题中，一般只能知道$a$和$b$的观测值，而误差$\xi$是未知的

建立回归分析的最终任务是利用$m$个观测值$(a_i,b_i)$来求解出$f$的具体形式，然后对新观测的自变量对响应变量做出预测

函数$f$取值于函数空间中，为了缩小$f$的范围，一般会将其进行参数化，于是上述模型转变为

$$b=f(a;x)+\xi$$

• $f(a;x)$含义为 $f$以$x\in R^n$为参数，通过选取不同的$x$得到不同的$f$

参数化的意义在于将$f$选取的范围缩小到了有限维空间$R^n$中，求解函数$f$的过程实际上就是求解参数$x$的过程

（3）常见回归分析类型

线性回归（Linear Regression）：这是最为熟知的建模技术之一，也是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的

逻辑回归（Logistic Regression）：用来计算 “事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1/0，真/假，是/否）变量时，应该使用逻辑回归

多项式回归（Polynomial Regression）：对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。例如$y=a+b{x}^2$。在这种回归技术中，最佳拟合线不是直线，而是曲线

逐步回归（Stepwise Regression）：在处理多个自变量时，可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。这种建模技术的目的是使用最少的预测变量数来最大化预测能力

岭回归（Ridge Regression）：当数据之间存在多重共线性（自变量高度相关） 时，就需要使用岭回归进行分析。在存在多重共线性时，尽管最小二乘法测得的估计值不存在偏差，它们的方差也会很大，从而使得观测值与真实值相差甚远。岭回归通过给回归估计值添加一个偏差值，来降低标准误差

Lasso回归（Lasso Regression）：类似于岭回归，Lasso回归也会就回归系数向量给出惩罚值项。此外，它能够减少变化程度并提高线性回归的模型。Lasso回归与Ridge回归不同的是，它使用的乘法函数是 $l_1$范数而不是$l_2$范数。这导致惩罚值使一些参数估计结果等于0，使用的惩罚值越大，进一步估计会使得缩小值越趋于0，这导致要从给定的$n$个变量中选择变量

弹性网络回归（ElasticeNet Regression）：是Lasso和Ridge回归技术的混合体。它使用$L1$来训练并且$L2$优先作为正则化矩阵。当有多个相关的特征时，弹性网络回归是很有用的

（4）过拟合和欠拟合

什么才算好的模型：一个好的模型需要有比较优秀的预测能力，即我们需要将$f$作用在测试集数据上，计算其预测误差

• 过拟合：对训练数据拟合效果非常好，但在测试数据上效果却很差
• 欠拟合：对训练数据拟合效果都很差，构建的$f$必不能完全解释$a$和$b$之间的依赖关系

总的来说，一个好的模型要同时兼顾两个方面，即在测试数据上的预测误差小，同时具有简单的形式

二：线性回归模型

（1）线性回归模型

线性回归：设$(w_i,b_i)$为观测到的自变量与响应变量，且不同数据点相互独立，则对每个数据点

$$b_i=w_{i1}{x}_1+w_{i2}{x}_2+...+w_{i1}{x}_1+w_{i2}{x}_2+w_{i,n-1}{x}_{n-1}+x_n,i=1,2,...,m$$

• $x_i$是需要确定的参数
• ${\xi }_i$是某种噪声且不同数据点之间相互独立

将训练集中的输入特征加上常数项$1$（对应元素为$x_n$），写成$a_i=(w_i^{T}1)$，令$x=(x_1,x_2,...,x_n{)}^T\in R^n$，则线性回归模型可简写为

$$b_i=a_i^{T}x+{\xi }_i$$

使用矩阵表示更为简洁，所以我们将训练集中的输入特征写成一个$m\times n$矩阵$A$，将标签$b_i$和噪声${\xi }_i$写成向量形式，也即

得到其矩阵形式

$$b=Ax+\xi$$

假设${\xi }_i$是高斯白噪声，即$\xi \sim N(0,{\sigma }^2)$，则有

于是对数似然函数为

最大似然估计则是极大化对数似然函数，去掉除常数项之后我们得到如下最小二乘问题

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2$$

• 注意：构建最大似然估计时无需知道$\xi$的方差${\sigma }^2$

以上变形最重要的意义是建立了最小二乘法和回归分析的联系，当假设误差是高斯白噪声时，最小二乘解就是线性回归模型的最大似然解。但当假设误差不是高斯白噪声时，则需要借助似然函数来构造其他噪声所对应的目标函数

（2）正则化线性回归模型

①：Tikhonov正则化

Tikhonov正则化：为了平衡模型的拟合性质和解的光滑性，Tikhonov正则化或岭回归添加$l_2$范数平方为正则项。假设${\xi }_i$是高斯白噪声，则带$l_2$范数平方正则项的线性回归模型实际上是在求解如下问题

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2+u||x|{|}_2^2$$

由于正则项存在，该问题的目标函数时强凸函数，解的性质得到改善。在岭回归问题中，正则项$||x|{|}_2^2$的作用实际上是对范数较大的$x$进行惩罚，因此另一种常见的变形是给定参数$\sigma >0$，求解

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2,s.t.||x|{|}_2^2\le \sigma$$

②：LASSO问题及其变形

如果希望得到的解$x$是稀疏的，那么可以考虑添加$l_1$范数为正则项，对应的正则化问题为LASSO问题，即

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2+u||x|{|}_1$$

其中$u>0$为已知的实数，$x$是待估计的参数。LASSO问题通过惩罚参数的$l_1$范数来控制解的稀疏性，如果$x$是稀疏的，那么预测值$b_i$只和$a_i$的部分元素相关。因此，数据点原有的$n$个特征中，对预测起作用的特征对应于$x$的分量不为0，从而LASSO模型起到了特征提取的功能

• 注意：也可以考虑问题，$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2,s.t.||x|{|}_1\le \sigma$

---

如果$\xi$不是高斯白噪声，则需要根据具体类型选择损失函数，比如

• $\underset{x\in R^n}{\min }||Ax-b|{|}_2+u||x|{|}_1$
• $\underset{x\in R^n}{\min }||Ax-b|{|}_1+u||x|{|}_1$

---

如果参数$x$具有分组稀疏性，即$x$的分量可以分为$G$个组，每个组内的参数必须同时为零或同时非零，为此人们提出了分组LASSO模型

---

如果需要同时保证分组以及单个特征的稀疏性，可以考虑将两种正则项结合起来，即有稀疏分组分组LASSO模型

• 其中$u_1,u_2>0$为给定的常数

---

当特征$x$本身不稀疏但在某种变换下是稀疏的，则需要调整正则项

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2+u||Fx|{|}_1$$

假设$x$在某线性变换$F\in R^{p\times n}$下是稀疏的，如果要求$x$相邻点之间的变化是稀疏的，则取$F$为

实际上$||Fx|{|}_1$还可以与$||x|{|}_1$结合起来，这表示同时对$Fx$和$x$提出稀疏性的要求，例如融合LASSO模型（fused-LASSO）

$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}_2^2+u_1||x|{|}_1+u_2\sum _{i=2}^n|x_i-x_{i-1}|$$

• $u_2\sum _{i=2}^n|x_i-x_{i-1}|$用来控制相邻稀疏之间的平稳度