多元线性回归—自相关

1 什么是自相关

1.1 自相关概念

自相关(auto correlation)又称序列相关（serial correlation），即总体回归模型的随机扰动项${\mu }_i$之间存在相关关系。在经典线性回归模型中，无自相关假定为
$$\mathrm{Cov}\left(u_i,u_j\right)=E\left(u_i,u_j\right)=0(i\ne j)$$
如果该假定不能满足，就称${\mu }_i$与${\mu }_j$存在自相关，即不同观测点上的误差项彼此相关。随机误差项${\mu }_t$与滞后一期的${\mu }_{t-1}$的自相关系数为
$$\rho =\frac{{\sum }_{t=2}^n{u}_t{u}_{t-1}}{\sqrt{{\sum }_{t=2}^n{u}_t^2}\sqrt{{\sum }_{t=2}^n{u}_{t-1}^2}}$$
其中$-1<\rho <1$,$\rho$称为一阶自相关系数。

• 当$\rho >0$,${\mu }_t$与${\mu }_{t-1}$为正相关；
• 当$\rho <0$,${\mu }_t$与${\mu }_{t-1}$为负相关；
• 当$\rho =0$,${\mu }_t$与${\mu }_{t-1}$不相关。

---

1.2 自相关产生的原因

• 经济系统的惯性,例如通货膨胀不仅受到货币供给的影响，还受到过去通货膨胀的影响
• 经济活动的滞后效应。例如经济学中蛛网模型
• 数据处理造成的相关。
• 模型设定偏误。

---

1.3 自相关表现形式

样本观测期为$n$的时间序列数据，总体回归模型的随机误差项为${\mu }_1,{\mu }_2,\dots {\mu }_n$,自相关形式为
$$u_t=\rho u_{t-1}+v_t\text{\hspace{1em}(1)}$$
其中$\rho$为自相关系数，$v_t$满足古典假设，即$E(v_t)=0$,$Var(v_t)={\sigma }^2$,$Cov(v_t,v_s)=0(t\ne s)$。上述模型包含${\mu }_t$与${\mu }_{t-1}$形式，故称(1)为一阶自回归模型，记作$AR(1)$。若$v_t$中包含$u_t$的成分，则需要从$v_t$中提取$u_{t-2}$，得到
$$u_t={\rho }_1{u}_{t-1}+{\rho }_2{u}_{t-2}+v_t^{\prime }\text{\hspace{1em}(2)}$$
式中${\rho }_1$为一阶自相关系数，${\rho }_2$为二阶自相关系数，$v_t^{{}^{\prime }}$满足古典假设误差项。并将$(2)$称为误差项的二阶自回归，记作$AR(2)$。一般地，若${\mu }_1,{\mu }_2,\dots {\mu }_n$满足
$$u_t={\rho }_1{u}_{t-1}+{\rho }_2{u}_{t-2}+\cdots +{\rho }_m{u}_{t-m}+v_t$$
其中$v_t$为古典假设误差项，${\rho }_i(i=1,2,\dots m)$为$i$阶自回归系数。

---

2 自相关后果

自相关与异方差均不服从球形扰动项假设，故自相关的的后果与异方差相同。以一元回归模型为例
$$Y_t={\beta }_1+{\beta }_2{X}_t+u_t$$
其中${\mu }_t$存在一阶自相关，即$u_t=\rho u_{t-1}+v_t$，其中$E(v_t)=0$,$Var(v_t)={\sigma }^2$,$Cov(v_t,v_s)=0(t\ne s)$。在大样本条件下，$\rho$的估计量为
$$\hat{\rho }=\frac{\sum u_t{u}_{t-1}}{\sum u_{t-1}^2}$$
在大样本条件下，${\mu }_t$与${\mu }_{t-1}$的相关系数为
$$\rho =\frac{\sum u_t{u}_{t-1}}{\sqrt{\sum u_t^2}\sqrt{\sum u_{t-1}^2}}\approx \frac{\sum u_t{u}_{t-1}}{\sum u_{t-1}^2}=\hat{\rho }$$
由(1)式迭代得
$$u_t=v_t+\rho v_{t-1}+{\rho }^2{v}_{t-2}+\cdots =\sum _{r=0}^{\infty }{\rho }^r{v}_{t-r}\text{\hspace{1em}(3)}$$
式表明，误差项可以由服从独立同分布（$iid$）的随机误差序列$v_{t-r}(r=1,2,\dots )$表示，其中权重为${\rho }^r(r=1,2,\dots )$。当$\rho \in (0,1)$时表明权数为几何递减，当$\rho \in (-1,0)$时表明权数为震荡交错衰减。${\mu }_t$的期望与方差为
$$E\left(u_t\right)=\sum _{r=0}^{\infty }{\rho }^{r}E\left(v_{t-r}\right)=0$$
$$\mathrm{Var}\left(u_t\right)=\sum _{r=0}^{\infty }{\rho }^{2n}\mathrm{Var}\left(v_{t-r}\right)=\frac{{\sigma }_v^2}{1-{\rho }^2}={\sigma }_u^2$$
当存在自相关时，扰动项的期望值为0，同方差。但方差协方差矩阵非对角线元素，即扰动项的协方差为
$$\mathrm{Cov}\left(u_t,u_{t-k}\right)={\rho }^k\mathrm{Var}\left(u_{t-k}\right)=\frac{{\rho }^k{\sigma }_v^2}{1-{\rho }^2}\ne 0$$
当$k=1$时称为扰动项${\mu }_t$一阶协方差，$k=n$称为扰动项${\mu }_t$的$n$阶协方差。

---

2.1 对估计参数的影响

一元线性回归模型在满足经典假设条件下，斜率估计量为
$$\mathrm{Var}\left({\hat{\beta }}_2\right)=\frac{{\sigma }^2}{\sum x_t^2}\text{\hspace{1em}(4)}$$
存在自相关时，估量的期望$E({\hat{\beta }}_2)={\beta }_2$，即无偏。但估量的方差推导过程利用了无自相关假设，即$E\left(u_i,u_j\right)=0(i\ne j)$，于是
$$\mathrm{Var}\left({\hat{\beta }}_2\right)\ne \frac{{\sigma }^2}{\sum x_t^2}$$
可以证明，当随机扰动项${\mu }_t$存在一阶自相关时，估计量的方差为
$$\mathrm{Var}\left({\hat{\beta }}_2\right)=\frac{{\sigma }_u^2}{{\sum }_{t=1}^n{x}_t^2}\left(1+2\rho \frac{{\sum }_{t=1}^{n-1}{x}_t{x}_{t+1}}{{\sum }_{t=1}^n{x}_t^2}+2{\rho }^2\frac{{\sum }_{t=1}^{n-2}{x}_t{x}_{t+2}}{{\sum }_{t=1}^n{x}_t^2}+\cdots +2{\rho }^{n-1}\frac{x_1{x}_n}{{\sum }_{t=1}^n{x}_t^2}\right)\text{\hspace{1em}(5)}$$
当$\rho =0$,此时$\mathrm{Var}\left({\hat{\beta }}_2\right)={\sigma }^2/\sum x_t^2$。不难看出，(5)的方差大于(4)式的方差，故在自相关条件下，估计量$\mathrm{Var}\left({\hat{\beta }}_2\right)$不再是最小的。方差增大，回归系数的标准误增大。当存在自相关时，容易证明，
$$E\left(\sum e_t^2\right)={\sigma }^2\left[(n-2)-\left(2\rho \frac{\sum X_t{X}_{t+1}}{\sum X_t^2}+2{\rho }^2\frac{\sum X_t{X}_{t+2}}{\sum X_t^2}+\cdots +2{\rho }^{n-1}\frac{\sum X_t{X}_n}{\sum X_t^2}\right)\right]\text{\hspace{1em}(6)}$$
当$X_t$与${\mu }_t$为正相关时，(6)式$E\left(\sum e_t^2\right)$与$\widehat{{\sigma }^2}=\sum e_t^2/(n-2)$相比降低，进而低估了真实的${\sigma }^2$,最终低估了(4)式的方差。

---

2.2 对模型检验的影响

自相关问题将低估参数的方差((5)与(6)表现），根据系数检验统计量$t=\left({\hat{\beta }}_2-{\beta }_2\right)/\mathrm{SE}\left({\hat{\beta }}_2\right)\sim t(n-2)$，$t$统计量被夸大，显著性夸大。类似的，模型显著性检验以及拟合优度也是不可靠的。模型预测方面，其预测精度降低，预测置信区间扩大。

---

3自相关检验

3.1相关图示法

• $e_t$与$e_{t-1}$散点图：根据残差 $e_t$与$e_{t-1}$的走势判断正相关还是负相关

• $e_t$与$t$散点图：如果$e_t$随着时间的变化频繁地变化符号，说明$e_t$存在负自相关；几个正的$e_t$跟着几个负的$e_t$,表明$e_t$存在正相关。

---

3.2 DW检验

DW检验是J.Durbin(杜宾)和G.S.Watson(沃特森)于1951 年提出的一种适用于小样本的检验方法。DW检验的条件为

• 自变量$X$非随机

• 随机误差仅为一阶自相关，即$u_t=\rho u_{t-1}+v_t$（不能处理高阶自相关情形）

• 线性模型不包含被解释变量滞后项(不能处理动态模型情形)

• 模型必须存在截距项

• 数据无缺失项

定义DW统计量
$$DW=\frac{{\sum }_{t=2}^n{\left(e_t-e_{t-1}\right)}^2}{{\sum }_{t=1}^n{e}_t^2}$$
其中$e_t=Y_t-{\hat{Y}}_t$$(t=1,2,\dots n)$，将DW统计量展开，在大样本条件下${\sum }_{t=2}^n{e}_t^2\approx {\sum }_{t=2}^n{e}_{t-1}^2\approx {\sum }_{t=1}^n{e}_t^2$，则
$$DW\approx 2\left[1-\frac{{\sum }_{i=2}^n{e}_t{e}_{t-1}}{{\sum }_{t=1}^n{e}_t^2}\right]$$
同理，在${\sum }_{t=2}^n{e}_t^2\approx {\sum }_{t=2}^n{e}_{t-1}^2\approx {\sum }_{t=1}^n{e}_t^2$条件下，
$$\hat{\rho }\approx \frac{{\sum }_{t=2}^n{e}_t{e}_{t-1}}{{\sum }_{t=1}^n{e}_t^2}$$
从而有
$$DW\approx 2(1-\hat{\rho })$$
由于$-1<\hat{\rho }<1$,故$0\le DW\le 4$。根据样本容量$n$、解释变量个数$k^{\prime }$(不包括常数)，查DW分布表可得临界值$d_L,d_U$，然后依据以下规则考察$DW$值

• $0\le DW\le d_L$,误差项${\mu }_i$存在正相关

• $d_L\le DW\le d_U$，无法判断

• $d_U\le DW\le 4-d_U$,无自相关

• $4-d_U\le DW\le 4-d_L$，无法判断

• $4-d_L\le DW\le 4$,误差项${\mu }_i$存在负相关

显然，当DW值接近0时，存在正相关，接近4时存在负相关，接近2时，不存在相关。注意：DW存在无法判断区域。

---

3.3 DW检验局限

• DW统计量具有前置条件

• DW检验上下界要求样本容量$n\ge 15$

• DW检验不适用于随机误差的高阶相关

• DW检验存在两个未知区域不能判定

---

4 自相关补救

4.1 广义差分法

一元线性回归模型
$$Y_t={\beta }_1+{\beta }_2{X}_t+u_t\text{\hspace{1em}(7)}$$
随机扰动项$u_t=\rho u_{t-1}+v_t$，$|\rho |<1$,$v_t$满足经典假设条件。将(7)滞后一期为
$$Y_{t-1}={\beta }_1+{\beta }_2{X}_{t-1}+u_{t-1}\text{\hspace{1em}(8)}$$
将(8)乘以相关系数$\rho$并用(7)减之，得
$$Y_t-\rho Y_{t-1}={\beta }_1(1-\rho )+{\beta }_2\left(X_t-\rho X_{t-1}\right)+u_t-\rho u_{t-1}$$
其中$v_t=u_t-\rho u_{t-1}$满足经典假设条件,无自相关。令$Y_t^{\ast }=Y_t-\rho Y_{t-1}$ ,$X_t^{\ast }=X_t-\rho X_{t-1}$, ${\beta }_1^{\ast }={\beta }_1(1-\rho )$,${\beta }_2={\beta }_2^{\ast }$,得到
$$Y_t^{\ast }={\beta }_1^{\ast }+{\beta }_2^{\ast }{X}_t^{\ast }+v_t\text{\hspace{1em}(9)}$$
对(9)使用OLS得到参数最佳线性无偏估计量。由于广义差分失去了第一个观测值，一般使用$Y_1\sqrt{1-{\rho }^2}$与$X_1\sqrt{1-{\rho }^2}$作为相应得补充。

---

4.2 Cochrane—Orcutt迭代法

$\rho$一般未知，最简单得方法时通过DW计算，即
$$\hat{\rho }\approx 1-\frac{DW}{2}$$
但该方法较为粗略。一种精确度较高得方法是Cochrane—Orcutt迭代法。步骤如下

• 使用OLS估计模型$Y_t={\beta }_1+{\beta }_2{X}_t+u_t$，并计算残差$e_t^{(1)}$

• 利用残差$e_t^{(1)}$作如下回归
  $$e_t^{(1)}={\hat{\rho }}^{(1)}{e}_{t-1}^{(1)}+v_t$$

• 利用上步计算的${\hat{\rho }}^{(1)}$对模型$Y_t={\beta }_1+{\beta }_2{X}_t+u_t$作广义差分，令$Y_t^{\ast }=Y_t-{\hat{\rho }}^{(1)}{Y}_{t-1}$, $X_t^{\ast }=X_t-{\hat{\rho }}^{(1)}{X}_{t-1}$, ${\beta }_1^{\ast }={\beta }_1\left(1-{\hat{\rho }}^{(1)}\right)$,从而得到样本回归函数
  $$Y_t^{\ast }={\beta }_1^{\ast }+{\beta }_2^{\ast }{X}_t^{\ast }+e_t^{(2)}$$

• 利用${\hat{\beta }}_1={\hat{\beta }}_1^{\ast }/\left(1-{\hat{\rho }}^{(1)}\right)$与${\hat{\beta }}_2={\hat{\beta }}_2^{\ast }$，将${\hat{\beta }}_1，{\hat{\beta }}_2$代入原回归模型得新的残差$e_t^{(3)}$
  $$e_t^{(3)}=Y_t-{\beta }_1-{\beta }_2{X}_t$$

• 利用残差$e_t^{(3)}$作回归
  $$e_t^{(3)}={\rho }^{(2)}{e}_{t-1}^{(3)}+v_t$$
  用 OLS法估计的${\hat{\rho }}^{(2)}$是对$\rho$的第二轮估计值。给定误差项$\delta$,当$|{\hat{\rho }}^k-{\hat{\rho }}^{k-1}|<\delta$时，停止迭代。

---

4.3 差分法

使用条件：完全正自相关，即$\rho =1$。设一阶线性回归模型$Y_t={\beta }_1+{\beta }_2{X}_t+u_t$，$u_t=\rho u_{t-1}+v_t$。将模型滞后一期并作差分得到
$$\Delta Y_t={\beta }_2\Delta X_{\mathrm{t}}+u_t-u_{t-1}$$
此时扰动项$v_t=u_t-u_{t-1}$满足经典假设条件。从而消除自相关。但这种方法假定了扰动项存在完全正自相关，不具有推广性。

---

4.4 德宾两步法

自相关系数$\rho$未知，可用德宾两步法消除自相关。将广义差分模型变形得到
$$Y_t={\beta }_1(1-\rho )+{\beta }_2{X}_t-\rho {\beta }_2{X}_{t-1}+\rho Y_{t-1}+v_t$$

• 将上式视为多元线性回归模型，利用ols法得到$\hat{\rho }$，视为参数$\rho$得估计，但却时有偏但一致得估计。

• 利用$\hat{\rho }$进行广义差分求出序列$Y_t^{\ast }=Y_t-\rho Y_{t-1}$ ,$X_t^{\ast }=X_t-\rho X_{t-1}$, 然后使用olsOLS对广义差分进行估计，求得最佳线性无偏估计。

  ---

-END-

参考文献

庞皓. 计量经济学[M].科学出版社