04 多元线性回归

1.多元线性回归模型

一般的多元线性回归模型可以写为：

多元线性回归模型

因为在绝大数情况下，回归方程都是有常数，我们可以令x_i1 = 1 ，则上式可以简化为：

多元线性回归模型

上式又可以用向量来表示：

多元线性回归模型

全部写出来有如下：

多元线性回归模型

其中矩阵X为：

X矩阵

如此便得到了一般多元线性回归模型的向量形式

2.OLS估计量的推导

我们的目标函数依旧是最小化残差平方和，寻找最佳拟合的回归超平面。
目标函数为：

目标函数

一阶条件为：

一阶条件

次方程组称为“正规方程组“，满足该方程组的beta hat解称为OLS估计量
由残差表达式

残差

可以将正规方程组用矩阵形式表示出来

矩阵形式

矩阵形式

由残差表达式可以进一步得到残差向量

残差向量

接下来继续求解OLS估计量

OLS估计量

3.拟合优度

对于多元线性回归方程，拟合优度的缺点被放大。即如果增加解释变量的数目，则拟合优度只增不减，因为至少可让新增解释变量的系数为0而拟合优度保持不变。另外通过最优地选择新增解释变量的系数以及已有的解释变量系数，通常可以提高拟合优度。因此，需要引入校正拟合优度，对解释变量过多进行惩罚。

e

由上图，我们可以看出，n个残差被K个方程束缚了，所以自由的残差只剩下n-K个

y

由上图，我们可以得知，对于n个y _i - y* （y*表示y的均值），其中必有一项可以由其余n-1项表示。可以类比下：a+b+c=0，则c=-(a+b)，可以说c是不自由的。
我们可以通过调整自由度对模型进行“惩罚”

校正拟合优度

同样的，无论拟合优度还是校正拟合优度只反映了拟合程度的好坏。评估回归方程是否显著，应使用F检验。此外，对于无常数项的多元回归模型，其非中心拟合优度仍然为

非中心拟合优度

Over~