人智导（九）：回归方法的精化

人智导（九）：回归方法的精化

标准回归的不足

• 标准的回归公式：$$f(X)={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p$$
• 观测变量（特征）越多，方差越大
• 需要训练数据量n>>p才能获得较低方差
• 回归模型的精度和解释性能改进：低方差（泛化）、低偏差（准确）
• 不太相关的观测变量会导致模型的复杂性
• 改进思路：选择关键的观测变量（特征）

特征（子集）选择

• 特征（子集）选择：从p个观测变量中$(X_1,X_2,\dots ,X_p)$选择出与$Y$较相关的子集，通过这个子集实现回归模型
• 最佳子集选择算法：
  • 对于$k=1,2,\dots ,p$：
    • 构建出所有的$C_p^k$个回归模型
    • 筛选出$C_p^k$组合中均方误差RSS最小的模型$M_k$
  • 从得到的$M_1,M_2,\dots ,M_p$模型中通过交叉验证再宣传预测均方误差最小的模型，所对应的即为最佳子集。
• 特点：简单而低效，需要从$2^p$中搜索出一个最佳，不适合处理$p$很大的情况
• 前向选择回归算法：
  • 对于$k=0,1,2,\dots ,p-1$：
    • 构建所有的p-k个回归模型，通过逐次累加一个相应变量的方式
    • 在这p-k个模型中筛选出均方误差RSS最小的模型$M_{k+1}$
  • 从得到的$M_1,M_2,\dots ,M_p$模型中通过交叉验证再选出预测均方误差最小的模型，即为目标子集
• 特点：仅需从$\frac{p(p+1)}{2}$个模型空间中搜索出目标子集，但不能保证得到的子集是最佳的（模型RSS最小）

示例：

• 数据集有三个观测变量$X_1,X_2,X_3$(p=3)
• 最佳的1-变量模型包含$X_1$；最佳的2-变量模型包含$X_2$和$X_3$
• 前向选择算法不能找出最佳的2-变量模型，因其不包括最佳的1-变量模型
  子集选择是优化模型的过程：
• 选择所有的观测变量，总是有最小RSS（偏差）但方差最大
• 减少观测变量（子集选择），提升模型泛化能力（test MSE)
• 方差大则过拟合，偏差大则欠拟合（准确性差）

正则化方法

• 回归公式： $$f(X)={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p$$ 估算系数${\beta }_0,{\beta }_1,\dots ,{\beta }_p$通过最小化RSS：$$RSS={\Sigma }_{i=1}^n(y_i-{\beta }_0-{\Sigma }_{j=1}^p{\beta }_j{X}_{ij}{)}^2$$
• 正则化方法：
  • 使用所有的$p$个观测变量，约束变量的系数${\beta }_0,{\beta }_1,\dots ,{\beta }_p$使RSS取值尽可能趋于零
  • 回归系数的取值限定在一个小范围内，将有效降低模型的方差

岭回归(Ridge Regression)方法

岭回归方法：

• 类似于最小二乘法，但隙数的估算${\hat{\beta }}^R$通过最小化公式：$$\begin{gathered} {\Sigma }_{i=1}^n(y_i-{\beta }_0-{\Sigma }_{j=1}^p{\beta }_j{X}_{ij}{)}^2+\lambda {\Sigma }_{j=1}^p{\beta }_j^2= \\ RSS+\lambda {\Sigma }_{j=1}^p{\beta }_j^2 \end{gathered}$$
• 其中$\lambda \ge 0$为调试参数（超参数）：
  • 当$\lambda =0$，约束不起作用，如同标准的线性回归
  • 当$\lambda \to \infty$，约束影响越大，系数${\hat{\beta }}^R$尽可能小

岭回归系数的正则化（标准化）：

• $L_2$范数：$\Vert \beta {\Vert }_2=\sqrt{{\Sigma }_{j=1}^p{\beta }_j^2}$
• 当$\lambda$增加，$L_2$降低，如图

• 一般地，所有变量需被标准化：$${\tilde{x}}_{ij}=\frac{x_{ij}}{\sqrt{\frac{1}{n}{\Sigma }_{i=1}^n(x_{ij}-{\bar{x}}_j{)}^2}}$$
• 岭回归方法：是一种平衡“方差-偏差”技术
  • 交叉验证test MSE选择最优的$\lambda$
  • $\lambda$的增加，导致方差降低而偏差上升
  • 如下图，绿线为方差，黑线为偏差，红线为岭回归的test MSE
    

Lasso回归算法

Lasso回归算法：

• 类似于最小二乘法，但系数的估算${\hat{\beta }}^L$通过最小化公式： $$\begin{gathered} {\Sigma }_{i=1}^n(y_i-{\beta }_0-{\Sigma }_{j=1}^p{\beta }_j{x}_{ij}{)}^2+\lambda {\Sigma }_{j=1}^p|{\beta }_j| \\ =RSS+\lambda {\Sigma }_{j=1}^p|{\beta }_j| \end{gathered}$$
• 其中$\lambda \ge 0$为调试参数：
  • 当$\lambda =0$，约束不起作用，如同标准的线性回归
  • 当$\lambda \to \infty$，约束影响越大，系数${\hat{\beta }}^L$将尽可能小
    

Lasso系数的正则化（标准化）：

• $L_1$范数：$\Vert \beta {\Vert }_1={\Sigma }_{j=1}^p|{\beta }_j|$
• 当$\lambda$增加，$L_1$降低；$\lambda$增加足够大，$L_1$会使某些变量系数为0