ols残差_【计量经济学笔记】多元线性回归1--模型&OLS估计

多元就是有多个解释变量，我们需要找到这些解释变量与被解释变量之间的线性关系。

跟一元线性回归一样，都是要估计解释变量对被解释变量的影响程度，也就是那个系数。

这里我们用的依然是OLS估计法，即，使得估计出的模型与现实的误差最小（以真实解释变量的数据，在估计出的模型中产生的y的估计值，与真实的y的差距最小）。

扩展至k个解释变量——多元线性回归：

• 【对模型方程组的改写】

令第一个解释变量恒等于1，这样β1就作为常数项。等式右侧是乘积和的形式，我们可以将它写为向量积的形式：

将多个样本的回归方程叠放如下：

X成为数据矩阵，每一行是一个样本个体的全部数据，每一列是一个解释变量的全部数据。

• 对此多元方程组进行OLS估计：

根据最优化的一阶条件（参数的偏导数为0），得到正规方程组：

有k个未知数，k个方程。

• 【对正规方程组的改写】

以残差的形式改写正规方程组：

可知，残差向量与每一个解释变量正交，这是OLS估计量的一大特征。（残差向量里是含有估计的参数βhat们的）

再将正规方程组改写为矩阵形式：

X还是上述那个数据矩阵，此处X’是X的转置，每一行为一个解释变量，每一列为一个样本个体。

• 由此可以求出我们的参数β的OLS估计量βhat（在残差向量里，拆出来就行了）：

OLS的几何解释

被解释变量y的拟合值/预测值如下：

可以证明拟合向量是与残差向量正交的，利用到的是残差向量与各个解释变量的正交性，这个正交性由OLS的正规方程组得来，是OLS的重要性质。

被解释变量y可以拆解为拟合值与残差之和，即，可以拆解为两个相互正交的向量之和。

如图：

OLS回归就像是做了一个投影（projection）。

拟合优度

前提条件：有常数项。（这个条件是在正规方程组里保证残差向量与解释变量正交性的）

由于OLS的正交性性质，平方和分解依然成立，拟合优度也由此定义：

它的缺陷是，如果增加解释变量，拟合优度是只增不减的，所以可能会出现为了提高拟合优度而过多地设置解释变量，导致模型过于复杂的情况，所以对这个拟合优度进行校正，来对过多的解释变量进行惩罚。

校正方法是分子分母除以各自的自由度，得到“校正拟合优度”：

解释一下自由度，自由度（n-1）就是指，有（n-1）个自由/独立的变量。

同理，因为在正规方程组里有K个方程，所以有K个ei是不独立的，那么残差平方和的自由度就是（n-K）。

这个校正拟合优度的缺点是，它可能为负值。

但是，其实，无论是拟合优度还是校正拟合优度，它们除了反映一下拟合程度，没有再多的重要意义了。