多元线性回归—异方差

异方差

文章目录

  • 异方差
    • @[toc]
      • 1 异方差的一些例子
      • 2 什么是异方差
      • 3异方差产生的原因
      • 4 异方差后果
      • 5 如何识别异方差
        • 5.1 图示法
        • 5.2 哥德菲尔德-夸特检验
        • 5.3 怀特检验
        • 5.4 Bp检验(布鲁奇-帕甘)
      • 6 补救
        • 6.1 使用“OLS + 稳健标准误”
        • 6.2 广义最小二乘法 GLS
        • 6.3 加权最小二乘法WLS
        • 6.4 可行广义最小二乘法FGLS

1 异方差的一些例子

  • 在消费函数,不同收入群体,消费的波动差距是否相同?
    C i = α + β Y i + ε i C_i = \alpha + \beta Y_i + \varepsilon_i Ci=α+βYi+εi

  • 在企业成本函数,大企业与小企业规模经济存在差异

  • 股票收益率数据也可能出现条件异方差ARCH 模型情形。


2 什么是异方差

经典线性回归方程
y = β X + ε y = \boldsymbol \beta \boldsymbol X +\boldsymbol \varepsilon y=βX+ε
普通最小二乘(OLS)估计量
β ^ o l s = ( X ′ X ) − 1 X ′ Y = ( X ′ X ) − 1 X ′ ( β X + ε ) = β + ( X ′ X ) − 1 X ′ ε \hat {\boldsymbol \beta}_{ols} = (X'X)^{-1}X'Y = (X'X)^{-1}X'(\boldsymbol \beta \boldsymbol X+\varepsilon) = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon β^ols=(XX)1XY=(XX)1X(βX+ε)=β+(XX)1Xε
其方差协方差矩阵:
V a r − C o v ( β ^ ) = E ( β ^ − E ( β ^ ) ( β ^ − E ( β ^ ) ′ ) = E ( ( X ′ X ) − 1 X ′ ε ε ′ X ( X ′ X ) − 1 ) = ( X ′ X ) − 1 X ′ E ( ε ε ′ ) X ( X ′ X ) − 1 \begin{aligned} Var-Cov(\hat \beta) & = E(\hat \beta-E(\hat \beta)(\hat \beta-E(\hat \beta)')\\ &=E((X'X)^{-1}X'\varepsilon \varepsilon'X (X'X)^{-1})\\ & = (X'X)^{-1}X'E(\varepsilon \varepsilon')X (X'X)^{-1} \end{aligned} VarCov(β^)=E(β^E(β^)(β^E(β^))=E((XX)1XεεX(XX)1)=(XX)1XE(εε)X(XX)1
在同方差假设下:
E ( ε ε ’ ) = σ 2 I = [ σ 2 0 ⋯ 0 0 σ 2 ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ σ 2 ] E(\varepsilon \varepsilon’)= \sigma^2I = \left[\begin{array}{cccc} \sigma^2 & 0 &\cdots&0\\ 0 & \sigma^2 &\cdots&0\\ \vdots & \vdots & &\vdots\\ 0 & 0 &\cdots &\sigma^2 \end{array}\right] E(εε)=σ2I= σ2000σ2000σ2
于是
V a r − C o v ( β ^ ) = σ 2 ( X ′ X ) − 1 Var-Cov(\hat \beta) = \sigma^2(X'X)^{-1} VarCov(β^)=σ2(XX)1

在实际建模中,扰动项的方差并不是
V a r ( ε ) = σ i 2 f ( X ) Var(\varepsilon) = \sigma_i^2f(X) Var(ε)=σi2f(X)


3异方差产生的原因

  • OLS假设条件苛刻:球形扰动项

  • 模型设定偏误,导致非线性的变量遗漏

  • 知道但无法获取的特征变量的遗漏变,增加了扰动项的波动性

例如,设真实模型:
y = a + b x 1 + c x 2 + u y = a + bx_1 + cx_2+u y=a+bx1+cx2+u
由于遗漏了变量 x 2 x_2 x2,实际建模为:
y = a + b x 1 + v ; v = c x 2 + u y = a + bx_1+v;v = cx_2+u y=a+bx1+v;v=cx2+u
此时新的扰动项 v v v的方差为:
V a r ( v ) = C o v ( c x 2 + u , c x 2 + u ) = c 2 σ x 2 + σ u 2 > σ u 2 Var (v) = Cov(cx_2+u,cx_2+u) = c^2\sigma_x^2+\sigma_u^2>\sigma_u^2 Var(v)=Cov(cx2+u,cx2+u)=c2σx2+σu2>σu2

  1. 模型设定误差模型为非线性模型,但却设定为线性模式(库兹涅茨效应)

  2. 变量选择:变量的测度不准确,被解释变量 y y y,与解释变量 x x x的观测误差导致方差增大


4 异方差后果

(1)参数无偏性不受影响

E ( β ^ ) = β E(\hat \beta) = \beta E(β^)=β

证明:
β ^ o l s = β + ( X ′ X ) − 1 X ′ ε \hat {\boldsymbol \beta}_{ols} = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon β^ols=β+(XX)1Xε

E ( β ^ ) = E ( β + ( X ′ X ) − 1 X ′ ε ) = β E(\hat \beta) =E( \boldsymbol \beta+(X'X)^{-1}X'\varepsilon) = \beta E(β^)=E(β+(XX)1Xε)=β
(2)有效性降低
存在异方差时,球形扰动假设不能满足,参数OLS估计量的方差不再是最小的方差。有效性定义为
V a r ( β ^ ∗ ) ≤ V a r ( β ′ ) , ∀ β ′ Var(\hat \beta^{*}) \le Var(\beta^{\prime}),\forall \beta^{'} Var(β^)Var(β),β
则说 β ^ ∗ \hat{\beta}^{*} β^在对应的估计方法下,其参数估计量具有有效性。在球形扰动条件下,OLS的方差最有效,反之,不满足球形扰动就不是最有效。根据一元线性回归方程公式
V a r ( β ^ ) = σ 2 Σ x i 2 ; t = β ^ V a r ( β ^ ) Var(\hat\beta) = \frac{\sigma^2}{\Sigma x_i^2};t = \frac{\hat\beta}{\sqrt{Var(\hat\beta) }} Var(β^)=Σxi2σ2;t=Var(β^) β^
(3)对系数显著性影响

O L S OLS OLS经典回归模型中,估计量 β o l s \beta_{ols} βols是最佳有效线性估计量,因此其方差是所有估计量中最小方差。异方差则不是最小方差,从而导致统计量 t t t变小,容易扭曲系数的显著性:本应该显著的回归系数因为异方差原因低估了回归系数的显著性。

(4)对假设检验影响

  • 系数检验t检验:一元线性回归为例, V a r ( β ^ ) ≠ σ 2 / Σ x i 2 Var(\hat\beta) \ne \sigma^2/\Sigma x_i^2 Var(β^)=σ2xi2,从而 t t t统计量不是真实的统计量,影响系数显著性。
  • 方程显著性检验F统计量:

5 如何识别异方差

5.1 图示法
  • 画相关散点图
    横轴为考察的自变量 x x x,纵轴为被解释变量 y y y,画出二者散点图。在 x x x条件下 y y y的变化的波动存在较大差异

  • 残差图:
    先利用OLS回归得到回归模型的的残差值 e e e,画 e e e与自变量 x x x的散点图,当 e e e随着 x x x变化存在明显的变化趋势时,可经验判断具有异方差

5.2 哥德菲尔德-夸特检验

前置条件

  • 此检验只适用于大样本
  • 仅解决同方差不成立情形

step1: 将解释变量按照从小到达顺序排序

step2: 排列在中间的 C C C个(约1/4)的观察值删除掉,再将剩余的观测值分为两个部分,每部分观察值的个数为 ( n − c ) / 2 (n-c)/2 (nc)/2

step3: 提出假设。即 : H 0 H_0 H0两部分数据的方差相等; H 1 H_1 H1两部分数据的方差不相等

step4: 构造F统计量。分别对上述两个部分的观察值作回归,由此得到的两个部分的残差平方和 Σ e 1 i 2 \Sigma e_{1i}^2 Σe1i2 Σ e 2 i 2 \Sigma e_{2i}^2 Σe2i2,自由度均为 ( n − c ) / 2 − k (n-c)/2-k (nc)/2k

step5: 在原假设条件下,构造统计量
F ⋆ = ∑ e 2 i 2 / [ n − c 2 − k ] ∑ e 1 i 2 / [ n − c 2 − k ] = ∑ e 2 i 2 ∑ e 1 i 2 ∼ F ( n − c 2 − k , n − c 2 − k ) F^{\star}=\frac{\sum e_{2 i}^{2} /\left[\frac{n-c}{2}-k\right]}{\sum e_{1 i}^{2} /\left[\frac{n-c}{2}-k\right]}=\frac{\sum e_{2 i}^{2}}{\sum e_{1 i}^{2}} \sim F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right) F=e1i2/[2nck]e2i2/[2nck]=e1i2e2i2F(2nck,2nck)
step6: 判断。若 F ⋆ > F ( n − c 2 − k , n − c 2 − k ) F^{\star}>F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right) F>F(2nck,2nck),则拒绝原假设,存在异方差

局限性:前半部分与后半部分同方差,而中间可能部分存在异方差


5.3 怀特检验

σ i 2 = σ 2 f ( X i ) \sigma_i^2 = \sigma^2f(X_i) σi2=σ2f(Xi)
表明扰动项方差关于自变量 X X X的函数,那么用扰动项对 X X X求回归,以判断哪些自变量对方差产生显著的影响。由于总体数据无法获取,因此利用样本数据回归得到的残差平方和 e i 2 e_i^2 ei2对自变量 X X X进行 O L S OLS OLS回归.例如
y = b ^ 0 + b ^ 1 x 1 + b ^ 2 x 2 + e y = \hat b_0 +\hat b_1 x_1+\hat b_2x_2+e y=b^0+b^1x1+b^2x2+e
得到残差:
e = y − y ^ e = y - \hat y e=yy^
再构造辅助回归:
e i 2 = a 0 + a 1 x 1 + a 2 x 2 + a 3 x 1 2 + a 4 x 4 2 + a 5 x 1 x 2 + v e_i^2 = a_0+a_1x_1+a_2x_2+a_3x_1^2+a_4x_4^2+a_5x_1x_2+v ei2=a0+a1x1+a2x2+a3x12+a4x42+a5x1x2+v
R 2 R^2 R2为辅助回归可决系数。在原假设: H 0 : α i ( i = 1 , 3 , … … 5 ) = 0 H_0:\alpha_i(i= 1,3,……5)= 0 H0:αi(i=1,3,……5)=0成立条件下,计算统计量 n R 2 nR^2 nR2,其中 n n n为样本,进行比较,若
n R 2 > χ 2 ( 5 ) nR^2 > \chi^2(5) nR2>χ2(5)
则拒绝原假设,存在异方差。原假设:
H 0 : E ( ε i 2 ∣ x 2 , ⋯   , x K ) = σ 2 H_{0}: \mathrm{E}\left(\varepsilon_{i}^{2} \mid x_{2}, \cdots, x_{K}\right)=\sigma^{2} H0:E(εi2x2,,xK)=σ2
u ^ 2 = δ 0 + ∑ j = 1 k δ j x j + ∑ j = 1 k ∑ p = j k δ j p x j x p + v \hat{u}^{2}=\delta_{0}+\sum_{j=1}^{k} \delta_{j} x_{j}+\sum_{j=1}^{k} \sum_{p=j}^{k} \delta_{j p} x_{j} x_{p}+v u^2=δ0+j=1kδjxj+j=1kp=jkδjpxjxp+v
L M = n R u 2 ∼ χ k ( k + 1 ) / 2 + k 2 L M=n R_{u}^{2} \sim \chi_{k(k+1) / 2+k}^{2} LM=nRu2χk(k+1)/2+k2

评价:可以检验任何形式的异方差;缺点:如果 H 0 H_0 H0被拒绝,并不提供有关异方差具体形式的信息。


5.4 Bp检验(布鲁奇-帕甘)

构造辅助回归
e i 2 = a 0 + a 1 x 1 + a 2 x 2 + e r r o e_i^2 = a_0+a_1x_1+a_2x_2+erro ei2=a0+a1x1+a2x2+erro
使用 n R 2 nR^2 nR2统计量:
n R 2 ⟶ d χ 2 ( K − 1 ) n R^{2} \stackrel{d}{\longrightarrow} \chi^{2}(K-1) nR2dχ2(K1)
BP 检验的优点在于其建设性,可帮助确认异方差的具体形式。但不含二次项形式。或者一种更简练的节省自由度的方法:
e i 2 = a + b y ^ i + e r r o e_i^2 = a + b\hat y_i+erro ei2=a+by^i+erro
e i 2 = a + b y ^ i + c y ^ 2 + e r r o e_i^2 = a + b\hat y_i+c \hat y^2+erro ei2=a+by^i+cy^2+erro


6 补救

6.1 使用“OLS + 稳健标准误”

这是最简单,也是目前通用的方法。只要样本容量较大,即使在异方差的情况下,若使用稳健标准误,则所有参数估计、假设检验均可照常进行。ols回归系数方差公式
Cov ⁡ ( β ^ ∣ x ) = ( x ′ x ) − 1 x ′ E ( u u ′ ∣ x ) x ( x ′ x ) − 1 \operatorname{Cov}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1} x^{\prime} \mathrm{E}\left(u u^{\prime} \mid x\right) x\left(x^{\prime} x\right)^{-1} Cov(β^x)=(xx)1xE(uux)x(xx)1
异方差稳健方差:
Cov ⁡ ^ ( β ^ ∣ x ) = ( x ′ x ) − 1 ( ∑ u ^ i 2 x i ′ x i ) ( x ′ x ) − 1 \widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum \hat{u}_{i}^{2} x_{i}^{\prime} x_{i}\right)\left(x^{\prime} x\right)^{-1} Cov (β^x)=(xx)1(u^i2xixi)(xx)1
聚类稳健标准方差:
Cov ⁡ ^ ( β ^ ∣ x ) = ( x ′ x ) − 1 ( ∑ g = 1 G x g ′ u ^ g ′ u ^ g x g ) ( x ′ x ) − 1 \widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum_{g=1}^{G} x_{g}^{\prime} \hat{u}_{g}^{\prime} \hat{u}_{g} x_{g}\right)\left(x^{\prime} x\right)^{-1} Cov (β^x)=(xx)1(g=1Gxgu^gu^gxg)(xx)1


6.2 广义最小二乘法 GLS

假设 Var ⁡ ( ε ∣ X ) = E ( ε ε ′ ∣ X ) = σ 2 V ( X ) ≠ σ 2 I n \operatorname{Var}(\varepsilon \mid \boldsymbol{X})=E(\varepsilon\varepsilon'|X)=\sigma^{2} \boldsymbol{V}(\boldsymbol{X}) \neq \sigma^{2} \boldsymbol{I}_{n} Var(εX)=E(εεX)=σ2V(X)=σ2In,且 V ( X ) \boldsymbol{V}(\boldsymbol{X}) V(X)正定对称且已知,基本思想:通过变量转换,使得转换后的模型满足球型扰动项的假定。

定理:对于任意正定对称矩阵 V n × n \boldsymbol{V}_{n\times n} Vn×n,存在非退化矩阵 C n × n \boldsymbol{C}_{n\times n} Cn×n,使得 V − 1 = C ′ C \boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C} V1=CC。矩阵 C \boldsymbol C C不唯一,但不影响最终结果

设回归模型
y = X β + ε y=X \beta+\varepsilon y=+ε
两边同时左乘矩阵 C C C得:
C y = C X β + C ε C y=C X \beta+C \varepsilon Cy=CXβ+
定义变量转换:
y ~ ≡ C y , X ~ ≡ C X , ε ~ ≡ C ε \tilde{y} \equiv C y, \tilde{X} \equiv C X, \tilde{\varepsilon} \equiv C \varepsilon y~Cy,X~CX,ε~
可将模型写为:
y ~ = X ~ β + ε ~ \tilde{y}=\tilde{X} \beta+\tilde{\varepsilon} y~=X~β+ε~
变换后的模型仍满足严格外生性:
E ( ε ~ ∣ X ~ ) = E ( C ε ∣ C X ) = E ( C ε ∣ X ) = C E ( ε ∣ X ) = 0 \mathrm{E}(\tilde{\boldsymbol{\varepsilon}} \mid \tilde{\boldsymbol{X}})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{C X})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{C} \mathrm{E}(\boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{0} E(ε~X~)=E(CεCX)=E(CεX)=CE(εX)=0
球型扰动项的假定也得到满足:
Var ⁡ ( ε ~ ∣ X ~ ) = E ( ε ~ ε ~ ′ ∣ X ) = E ( C ε ε ′ C ′ ∣ X ) = C E ( ε ε ′ ∣ X ) C ′ = σ 2 C V C ′ = σ 2 C ( V − 1 ) − 1 C ′ = σ 2 C ( C ′ C ) − 1 C ′ = σ 2 C C − 1 ( C ′ ) − 1 C ′ = σ 2 I n \begin{aligned} \operatorname{Var}(\tilde{\varepsilon} \mid \tilde{\boldsymbol{X}}) &=\mathrm{E}\left(\tilde{\varepsilon} \tilde{\boldsymbol{\varepsilon}}^{\prime} \mid \boldsymbol{X}\right)=\mathrm{E}\left(\boldsymbol{C} \boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \boldsymbol{C}^{\prime} \mid \boldsymbol{X}\right)=\boldsymbol{C} \mathrm{E}\left(\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \mid \boldsymbol{X}\right) \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{V} \boldsymbol{C}^{\prime} \\ &=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{V}^{-1}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{C}^{\prime} \boldsymbol{C}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{C}^{-1}\left(\boldsymbol{C}^{\prime}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{I}_{n} \end{aligned} Var(ε~X~)=E(ε~ε~X)=E(CεεCX)=CE(εεX)C=σ2CVC=σ2C(V1)1C=σ2C(CC)1C=σ2CC1(C)1C=σ2In
故高斯-马尔可夫定理成立。对变换后的模型使用 OLS 即得到GLS 估计量:
β ^ G L S = ( X ~ ′ X ~ ) − 1 X ~ ′ y ~ = [ ( C X ) ′ ( C X ) ] − 1 ( C X ) ′ C y = ( X ′ C ′ C X ) − 1 X ′ C ′ C y = ( X ′ V − 1 X ) − 1 X ′ V − 1 y \begin{aligned} \hat{\beta}_{\mathrm{GLS}} &=\left(\tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{X}}\right)^{-1} \tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{y}}=\left[(\boldsymbol{C X})^{\prime}(\boldsymbol{C X})\right]^{-1}(\boldsymbol{C X})^{\prime} \boldsymbol{C} \boldsymbol{y} \\ &=\left(\boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{y}=\left(\boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{y} \end{aligned} β^GLS=(X~X~)1X~y~=[(CX)(CX)]1(CX)Cy=(XCCX)1XCCy=(XV1X)1XV1y
虽然 C C C不唯一,但 β ^ \hat{\beta} β^唯一。显然 β ^ G L S \hat{\beta}_{\mathrm{GLS}} β^GLS是是BLUE,比OLS 更有效。但前提是必须知道协方差矩 V V V


6.3 加权最小二乘法WLS

假设仅存在异方差,无自相关, V n × n \boldsymbol{V}_{n\times n} Vn×n为对角阵。方差小的数据提供的信息量大。WLS 根据信息量大小进行加权。假定
E ( ε i 2 ∣ x i ) = Var ⁡ ( ε i ∣ x i ) = σ 2 v i ( X ) \mathrm{E}\left(\varepsilon_{i}^{2} \mid \boldsymbol{x}_{i}\right)=\operatorname{Var}\left(\varepsilon_{i} \mid \boldsymbol{x}_{i}\right)=\sigma^{2} v_{i}(\boldsymbol{X}) E(εi2xi)=Var(εixi)=σ2vi(X)
其中
V = ( v 1 0 v 2 ⋱ 0 v n ) , V − 1 = ( 1 / v 1 0 1 / v 2 ⋱ 0 1 / v n ) \boldsymbol{V}=\left(\begin{array}{ccc} v_{1} & & 0 \\ & v_{2} & & \\ & & \ddots & \\ 0 & & & v_{n} \end{array}\right), \quad \boldsymbol{V}^{-1}=\left(\begin{array}{cccc} 1 / v_{1} & & & 0 \\ & 1 / v_{2} & & \\ & & \ddots & \\ 0 & & & 1 / v_{n} \end{array}\right) V= v10v20vn ,V1= 1/v101/v201/vn
因为 V − 1 = C ′ C \boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C} V1=CC
C = C ′ = ( 1 / v 1 0 1 / v 2 ⋱ 0 1 / v n ) \boldsymbol{C}=\boldsymbol{C}^{\prime}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right) C=C= 1/v1 01/v2 01/vn

y ~ ≡ C y = ( 1 / v 1 0 1 / v 2 ⋱ 0 1 v n ) ( y 1 y 2 ⋮ y n ) = ( y 1 / v 1 y 2 / v 2 ⋮ y n / v n ) \tilde{\boldsymbol{y}} \equiv \boldsymbol{C} \boldsymbol{y}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 & \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{c} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{array}\right)=\left(\begin{array}{c} y_{1} / \sqrt{v_{1}} \\ y_{2} / \sqrt{v_{2}} \\ \vdots \\ y_{n} / \sqrt{v_{n}} \end{array}\right) y~Cy= 1/v1 01/v2 01vn y1y2yn = y1/v1 y2/v2 yn/vn

其中
X ~ ≡ C X = ( 1 / v 1 0 1 / v 2 ⋱ 0 1 / v n ) ( x 11 … x 1 K x 21 … x 2 K ⋮ ⋮ x n 1 … x n K ) = ( x 11 / v 1 … x 1 K / v 1 x 21 / v 2 … x 2 K / v 2 ⋮ ⋮ x n 1 / v n … x n K ) \begin{aligned} \tilde{\boldsymbol{X}} \equiv \boldsymbol{C X} &=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{ccc} x_{11} & \ldots & x_{1 K} \\ x_{21} & \ldots & x_{2 K} \\ \vdots & & \vdots \\ x_{n 1} & \ldots & x_{n K} \end{array}\right) \\ \\ &=\left(\begin{array}{ccc} x_{11} / \sqrt{v_{1}} & \ldots & x_{1 K} / \sqrt{v_{1}} \\ x_{21} / \sqrt{v_{2}} & \ldots & x_{2 K} / \sqrt{v_{2}} \\ \vdots & & \vdots \\ x_{n 1} / \sqrt{v_{n}} & \ldots & x_{n K} \end{array}\right) \end{aligned} X~CX= 1/v1 01/v2 01/vn x11x21xn1x1Kx2KxnK = x11/v1 x21/v2 xn1/vn x1K/v1 x2K/v2 xnK
其中权重 1 / v i 1/\sqrt{v_i} 1/vi 表示标准差的倒数,第 i i i个观测的回归方程为:
y i v i = β 1 x i 1 v i + β 2 x i 2 v i + ⋯ + β K x i K v i + ε i v i \frac{y_{i}}{\sqrt{v_{i}}}=\beta_{1} \frac{x_{i 1}}{\sqrt{v_{i}}}+\beta_{2} \frac{x_{i 2}}{\sqrt{v_{i}}}+\cdots+\beta_{K} \frac{x_{i K}}{\sqrt{v_{i}}}+\frac{\varepsilon_{i}}{\sqrt{v_{i}}} vi yi=β1vi xi1+β2vi xi2++βKvi xiK+vi εi
新扰动项为 ε i / v i \varepsilon_{i} / \sqrt{v_{i}} εi/vi ,可将WLS视为最小化“加权的残差平方和:
min ⁡ β ⃗ S S R = ∑ i = 1 n ( e i / v i ) 2 = ∑ i = 1 n e i 2 v i \min _{\vec{\beta}} \mathrm{SSR}=\sum_{i=1}^{n}\left(e_{i} / \sqrt{v_{i}}\right)^{2}=\sum_{i=1}^{n} \frac{e_{i}^{2}}{v_{i}} β minSSR=i=1n(ei/vi )2=i=1nviei2
权重为 1 / v i 1/v_i 1/vi


6.4 可行广义最小二乘法FGLS

必须先用样本数据估计 V n × n \boldsymbol{V}_{n\times n} Vn×n然后才能使用GLS,故称为 FGLS或“可行加权最小二乘法”(Feasible WLS,简记FWLS),即
β ^ F G L S = ( X ′ V ^ − 1 X ) − 1 X ′ V ^ − 1 y \hat{\beta}_{\mathrm{FGLS}}=\left(\boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{y} β^FGLS=(XV^1X)1XV^1y
其中 V ^ \hat{V} V^ V {V} V的一致估计量。 V ( X ) {V}(X) V(X)包含过多参数,实践中,常考虑只有异方差,或只有一阶自相关的情形。以FWLS 为例。在作BP 检验时, 通过辅助回归(此处及其谨慎,为什么就假定为线性形式?一旦设定错误会有什么影响)
e i 2 = δ 1 + δ 2 x i 2 + ⋯ + δ K x i K +  error  i e_{i}^{2}=\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\text { error }_{i} ei2=δ1+δ2xi2++δKxiK+ error i
就可获得 σ i 2 \sigma_i^2 σi2的估计值 σ ^ i 2 \hat \sigma_i^2 σ^i2。为保证 σ ^ i 2 \hat \sigma_i^2 σ^i2为正数,假设辅助回归为指数函数的形式:
e i 2 = σ 2 exp ⁡ ( δ 1 + δ 2 x i 2 + ⋯ + δ K x i K ) v i e_{i}^{2}=\sigma^{2} \exp \left(\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}\right) v_{i} ei2=σ2exp(δ1+δ2xi2++δKxiK)vi
其中 v i v_i vi表示乘积形式扰动项,取对数后可得
ln ⁡ e i 2 = ( ln ⁡ σ 2 + δ 1 ) + δ 2 x i 2 + ⋯ + δ K x i K + ln ⁡ v i \ln e_{i}^{2}=\left(\ln \sigma^{2}+\delta_{1}\right)+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\ln v_{i} lnei2=(lnσ2+δ1)+δ2xi2++δKxiK+lnvi
得到 ln ⁡ e i 2 \ln e_{i}^{2} lnei2的预测值 ln ⁡ σ ^ i 2 \ln \hat\sigma_i^2 lnσ^i2,进而得到拟合值 σ ^ i 2 = e ln ⁡ σ ^ i 2 \hat{\sigma}_{i}^{2}=e^{\ln \hat{\sigma}_{i}^{2}} σ^i2=elnσ^i2,然后以 1 / σ ^ i 2 1/\hat{\sigma}_{i}^{2} 1/σ^i2作为权重,进行WLS


参考文献

庞皓.计量经济学(第三版),北京:科学出版社114-125,2014
陈强.高级计量经济学及 Stata 应用(第二版,第 7章 )北京:高等教育出版社,2014。


-END-

你可能感兴趣的:(计量经济学,机器学习,数学建模)