【统计学习系列】多元线性回归模型（三）——参数估计量的性质

【更新日志】
4/5/2020 对文章中公式与排版的部分错误进行修正

---

1. 前文回顾

在前面的文章中，我们介绍了多元线性回归模型的两种参数估计。对于模型：
$$y_i={\beta }_0+\sum _{j=1}^p{x}_{ij}{\beta }_j+{ϵ}_i,i=1,...,N$$$$\mathbf{ϵ}=({ϵ}_i{)}_{N\times 1}\sim N(0,{\mathbf{I}}_{\mathbf{n}}{\sigma }^2)$$
利用最小二乘估计法（OLS）得到的参数估计量为：
$${\hat{\mathbf{\beta }}}_{OLS}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$$${\hat{\mathbf{\sigma }}}_{OLS}=\sqrt{\frac{1}{N-p-1}(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{OLS}{)}^T(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{OLS})}$$
而利用极大似然估计法（ML）得到的参数估计量为：
$${\hat{\mathbf{\beta }}}_{ML}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$$${\hat{\mathbf{\sigma }}}_{ML}=\sqrt{\frac{1}{N}(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{ML}{)}^T(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{ML})}$$其中：
$$\mathbf{\beta }={\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ⋮\\ {\beta }_p\end{array}\right]}_{(p+1)\times 1},\mathbf{y}={\left[\begin{array}{c}{y}_0\\ y_1\\ ⋮\\ y_N\end{array}\right]}_{N\times 1},\mathbf{X}={\left[\begin{array}{c}1x_{11}\dots x_{1p}\\ 1x_{21}\dots x_{2p}\\ ⋮⋮\ddots ⋮\\ 1x_{N1}\dots x_{Np}\end{array}\right]}_{N\times (p+1)}$$
在这两种方法中，最小二乘估计法是我们最为常用的参数估计方法，原因有二：其一，以残差平方和作为评判超平面拟合好坏的指标比较直观，也易于理解；其二，最小二乘估计参数具有良好的估计量性质。此外，以残差平方和构建代价函数（Cost Function）的方法在机器学习领域十分常见，我们会在后面的Lasso回归和Ridge回归之中继续体会其中的奥妙。

在本章中，我们来继续探索利用最小二乘估计量在性质上究竟具有什么样的优势吧~

---

2. 衡量参数估计量好坏的指标

由于参数估计量是总体参数的估计值，因此估计量必然与总体参数之间存在一定的“误差”。如果，我们如何衡量一个参数的估计量是好是坏呢？我们可以从以下这几个性质入手：

这里想编一个射击小游戏来说明，但是有点费脑筋，等编好了再补充上来吧。

2.1 无偏性

参数估计量的 无偏性（unbiasedness） 是指，在多次试验中，用总体的某参数估计值的平均值与该总体参数的真实值“没有偏差”。用数学语言来描述则可以表达为：若一个总体参数 β 的估计量 β^ 是无偏估计量，则该估计量应满足：
$$E[\hat{\mathbf{\beta }}]=\mathbf{\beta }$$

2.2 一致性

参数估计量的 一致性（Consistency） 是指，当样本数量足够大的时候，总体参数的估计值以某种意义收敛到该参数真值，即：
$$\hat{\mathbf{\beta }}\underset{n\to \infty }{\overset{在某种意义下}{}}\mathbf{\beta }$$
（1）若 β^ 依概率收敛于 β ，则称 β^ 为 β 的弱一致估计；
（2）若 β^ 以概率1收敛于 β ，则称 β^ 为 β 的强一致估计；

注1：无偏性是一种小样本性质，而一致性则是一种大样本性质；
注2：一致估计又称为相合估计或相容估计。

2.3 有效性

参数估计量的 有效性（Validness) 是指，在参数的任意一无偏估计量中，该无偏估计量的方差最小，即：

若
$$E[\hat{\mathbf{\beta }}]=\mathbf{\beta }$$且$$\begin{gathered} \forall \tilde{\mathbf{\beta }}\in \{\tilde{\mathbf{\beta }}:E[\tilde{\mathbf{\beta }}]=\mathbf{\beta }\} \\ \text{var}[\hat{\mathbf{\beta }}]\le \text{var}[\tilde{\mathbf{\beta }}] \end{gathered}$$

则称 β^ 是 β 的 有效估计量（Valid Estimator）。

---

3. 一些引理（可略）

为了保证后续证明的严谨性，本文列出一些比较重要的引理。在实际应用过程中可以忽略这些引理的证明过程而直接使用其结论。

3.1 期望运算的线性性

【引理1 期望线性性】 对于任一 n 阶随机向量 y 与 m × n 线性变换矩阵 A ，m 阶随机向量 Ay 有：
$$E[\mathbf{A}\mathbf{y}]=\mathbf{A}E[\mathbf{y}]$$
Proof:
由于随机变量（向量）的期望由Riemann-Stieltjes积分定义：
$$E[\mathbf{y}]=\int \mathbf{y}d\mathbf{F}(\mathbf{y})$$

其中，F(·)为随机变量（向量）的分布集函数。

由Riemann-Stieltjes积分的线性性，可以证明：
$$E[\mathbf{A}\mathbf{y}]=\int \mathbf{A}\mathbf{y}d\mathbf{F}(\mathbf{y})=\mathbf{A}\int \mathbf{y}d\mathbf{F}(\mathbf{y})=\mathbf{A}E[\mathbf{y}]$$
Q.E.D.

注：有关Riemann-Stieltjes积分的定义与运算性质可以参考相关文献

3.2 协方差运算的半线性性

【引理2 协方差半线性性】 对于任一 n 阶随机向量 x 和 y，与两 m × n 线性变换矩阵 A 和 B ，有：
$$\text{cov}(\mathbf{A}\mathbf{x},\mathbf{B}\mathbf{y})=\mathbf{A}\text{cov}(\mathbf{x},\mathbf{y}){\mathbf{B}}^T$$
Proof:
$$\begin{gathered} \text{cov}(\mathbf{A}\mathbf{x},\mathbf{B}\mathbf{y}) \\ =E[(\mathbf{A}\mathbf{x}-E[\mathbf{A}\mathbf{x}])(\mathbf{B}\mathbf{y}-E[\mathbf{B}\mathbf{y}]{)}^T] \\ =E[(\mathbf{A}\mathbf{x}-\mathbf{A}E[\mathbf{x}])(\mathbf{B}\mathbf{y}-\mathbf{B}E[\mathbf{y}]{)}^T] \\ =\mathbf{A}E[(\mathbf{x}-E[\mathbf{x}])(\mathbf{y}-E[\mathbf{y}]{)}^T]{\mathbf{B}}^T \\ =\mathbf{A}\text{cov}(\mathbf{x},\mathbf{y}){\mathbf{B}}^T \end{gathered}$$
Q.E.D.

3.3 矩阵迹运算的性质

【引理3 矩阵迹运算的性质】 对于任意 m × n 与 n × m 阶实矩阵 A 和 B ，其迹运算（trace）满足：
$$tr(AB)=tr(BA)$$
Proof:
根据矩阵乘法与迹运算的定义：
$$tr(AB)=\sum _{i=1}^m\sum _{j=1}^n{a}_{i,j}{b}_{j,i}$$$$tr(BA)=\sum _{j=1}^n\sum _{i=1}^m{b}_{j,i}{a}_{i,j}$$
由乘法交换律和加法分配律易得：
$$tr(AB)=\sum _{i=1}^m\sum _{j=1}^n{a}_{i,j}{b}_{j,i}=\sum _{j=1}^n\sum _{i=1}^m{b}_{j,i}{a}_{i,j}=tr(BA)$$
Q.E.D.

---

4. β^_OLS 的性质

4.1 β^_OLS 服从的分布

若模型的正态性假设成立，即：

$$\mathbf{ϵ}\sim N(0,{\mathbf{I}}_{\mathbf{n}}{\sigma }^2)$$

则有：
$$\mathbf{y}=\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}\sim N(\mathbf{X}\mathbf{\beta },{\mathbf{I}}_{\mathbf{n}}{\sigma }^2)$$
因此，在给定自变量的条件下，y 服从于均值为 Xβ，协方差矩阵为 I_nσ² 的条件正态分布。

又因为 β^_OLS 满足：
$${\hat{\mathbf{\beta }}}_{OLS}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
故 β^_OLS 关于因变量 y 的 线性变换（Linear Transformation）。由正态分布的性质可知， β^_OLS 服从正态分布，且其均值有：
$$\begin{gathered} E[{\hat{\mathbf{\beta }}}_{OLS}]=E[({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}] \\ =({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^{T}E[\mathbf{y}] \\ =({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{X}\mathbf{\beta } \\ =\mathbf{\beta } \end{gathered}$$
其方差有：
$$\begin{gathered} \text{var}[{\hat{\mathbf{\beta }}}_{OLS}] \\ =\text{var}[({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}] \\ =\text{cov}[({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y},({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}] \\ =({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\text{cov}[\mathbf{y},\mathbf{y}]\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1} \\ ={\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T{\mathbf{I}}_n\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1} \\ ={\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1} \end{gathered}$$
至此，可以说明：在方差正态性满足的前提下，β^_OLS 满足：
$${\hat{\mathbf{\beta }}}_{OLS}\sim N(\mathbf{\beta },{\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1})$$

4.2 β^_OLS 与误差项之间的关系

由4.1中的论述，我们知道 β^_OLS 是因变量 y 的线性表示，而 y 又是误差项 ϵ 的线性表示。实际上：
$$\text{cov}(\mathbf{y},\mathbf{ϵ})=\text{cov}(\mathbf{X}\mathbf{\beta }+\mathbf{ϵ},\mathbf{ϵ})={\mathbf{I}}_n{\sigma }^2$$
因此，β^_OLS 与误差项 ϵ 存在相关关系，其协防矩阵有：
$$\begin{gathered} \text{cov}(\hat{\mathbf{\beta }},\mathbf{ϵ})=\text{cov}[({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y},ϵ] \\ =({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\text{cov}(\mathbf{y},\mathbf{ϵ}) \\ ={\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T \end{gathered}$$

4.3 β^_OLS 的无偏性

首先，我们来证明，β^_OLS是β的无偏估计量。
实际上，由4.1中的证明，我们已经得到：
$$E[{\hat{\mathbf{\beta }}}_{OLS}]=\mathbf{\beta }$$
因此，最小二乘估计量 β^_OLS 是 β 的无偏估计量。

注：由于 β 的最小二乘法估计量与极大似然估计量在表达形式上相等，因此极大似然估计量 β^_ML 也是 β 的无偏估计量

4.4 β^_OLS 的一致性

下面，让我们继续证明， β^_OLS 是 β 的弱一致估计量，在某些特定条件下，β^_OLS 是 β 的强一致估计量。由于估计量的一致性证明过程较为艰深冗长，详细的证明过程与结论可以参考文献[1]：线性回归估计相合性问题的新进展.

4.5 β^_OLS 的有效性

β_OLS 的有效性可以由 高斯-马尔科夫定理（Gauss-Markov Theorm） 证得。

【Gauss-Markov定理】 在 β 的所有线性无偏估计量中， β^_OLS 是方差最小的线性无偏估计量。

Proof:

假设 c^Ty 是 β 的一个线性无偏估计量，其中, c^T = (X^TX)^-1X^T + D，D 为一常矩阵。则有：
$$\begin{gathered} E[{\mathbf{c}}^T\mathbf{y}]=[({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^T+\mathbf{D}]\mathbf{X}\mathbf{\beta } \\ =(\mathbf{I}+\mathbf{D}\mathbf{X})\mathbf{\beta }=\mathbf{\beta } \end{gathered}$$

因此可知：
$$\mathbf{D}\mathbf{X}=0$$

而：
$$\begin{gathered} \text{var}({\mathbf{c}}^T\mathbf{y})={\mathbf{c}}^T\text{var}(\mathbf{y})\mathbf{c}={\sigma }^2{\mathbf{c}}^T\mathbf{c} \\ ={\sigma }^2[({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^T+\mathbf{D}][({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^T+\mathbf{D}{]}^T \\ ={\sigma }^2[({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}+\mathbf{D}{\mathbf{D}}^T] \\ \ge {\sigma }^2({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}=\text{var}(\hat{\mathbf{\beta }}) \end{gathered}$$
Q.E.D.

---

5. σ^_OLS 的性质

5.1 σ^²_OLS 的无偏性

我们先将σ^²_OLS的表达式进行变型：
$$\begin{gathered} (N-p-1){\hat{\sigma }}_{OLS}^2 \\ =(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{OLS}{)}^T(\mathbf{y}-\mathbf{X}{\hat{\mathbf{\beta }}}_{OLS}) \\ =[\mathbf{y}-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}{]}^T[\mathbf{y}-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}] \\ ={\mathbf{y}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T{]}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{y} \\ ={\mathbf{y}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{y} \\ =(\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}{)}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T](\mathbf{X}\mathbf{\beta }+\mathbf{ϵ}) \\ ={\mathbf{\beta }}^T{\mathbf{X}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{X}\mathbf{\beta }(1) \\ +{\mathbf{ϵ}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{X}\mathbf{\beta }(2) \\ +{\mathbf{\beta }}^T{\mathbf{X}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{ϵ}(3) \\ +{\mathbf{ϵ}}^T[{\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T]\mathbf{ϵ}(4) \end{gathered}$$
至此，我们将的表达式分成了四个部分。容易计算：第(1)项、第（2）项和第（3）项均 恒为0 。因此：

$${\hat{\sigma }}_{OLS}^2=\frac{1}{(N-p-1)}{\mathbf{ϵ}}^T({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T)\mathbf{ϵ}$$

根据引理3关于迹运算的性质，以及迹运算与期望运算的相容性：

$$\begin{gathered} E[{\mathbf{ϵ}}^T({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T)\mathbf{ϵ}] \\ =E[tr\{({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T)\mathbf{ϵ}{\mathbf{ϵ}}^T\}] \\ =tr\{({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T)E[\mathbf{ϵ}{\mathbf{ϵ}}^T]\} \\ =tr\{({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T){\mathbf{I}}_N{\sigma }^2\} \\ ={\sigma }^2[tr\{{\mathbf{I}}_N\}-tr\{\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\}] \\ ={\sigma }^2[tr\{{\mathbf{I}}_N\}-tr\{{\mathbf{X}}^T\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}\}] \\ ={\sigma }^2[tr\{{\mathbf{I}}_N\}-tr\{{\mathbf{I}}_{(p+1)}\}] \\ =(N-p-1){\sigma }^2 \end{gathered}$$
因此：
$$E[{\hat{\sigma }}_{OLS}^2]={\sigma }^2$$

至此，我们证得：σ^²_OLS 是 σ² 的无偏估计量。

注1：显然，σ^²_ML 不是 σ² 的无偏估计 ;
注2：需要特别注意的是，σ^_OLS 不是 σ 的无偏估计量（这里的平方号不能少）。

---

5.2 σ^²_OLS 所服从的分布

从 σ^²_OLS 的表达式：
$${\hat{\sigma }}_{OLS}^2=\frac{1}{(N-p-1)}{\mathbf{ϵ}}^T({\mathbf{I}}_N-\mathbf{X}({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T)\mathbf{ϵ}$$
可以看出，σ^²_OLS 是关于误差项 ϵ 的二次型。因此，容易证明： σ^²_OLS/ σ² 服从自由度为 N - p - 1的卡方分布，即：
$$\frac{(N-p-1){\hat{\sigma }}_{OLS}^2}{{\sigma }^2}\sim {\chi }_{N-p-1}^2$$

---

6. 结论

至此，通过一系列冗长但富有启发性的证明，我们从 无偏性、一致性 和 有效性 这三个角度，对多元线性回归模型的最小二乘估计量 β^_OLS 与 σ^²_OLS 的质量进行了评判，得到的结论如下：

（1）β^_OLS 是 β 的 最优线性无偏估计量 （Best Linear Unbiased Estimator，BLUE），即其具有 无偏性、一致性与有效性。

（2）σ^²_OLS 是 σ² 的 无偏估计量（Unbiased Estimator）。

同时，在误差项满足正态性假设的条件下，我们推导出了 β^_OLS 与 σ^²_OLS 所服从的分布：
$${\hat{\mathbf{\beta }}}_{OLS}\sim N(\mathbf{\beta },{\sigma }^2({\mathbf{X}}^T\mathbf{X}{)}^{-1})$$$$\frac{(N-p-1){\hat{\sigma }}_{OLS}^2}{{\sigma }^2}\sim {\chi }^2(N-p-1)$$
但是，得到这两个分布有啥用啊？那就且听我们下回分解。

---

7. 新问题的提出

至此，我们解决了模型的参数估计，以及所估计参数的相关性质，并给出了参数估计量的分布。但是，我们还有一堆问题还没有解决：

（1）估计出来的模型好不好？有没有效呢？
（2）估计出来的模型是否满足模型的基本假设条件呢？不满足可咋办呢？
（3）如何利用估计出来的模型进行预测呢？预测的准确性有多高呢？
（4）下次更新是不是又得一年后啊？

在下一篇文章中，就让我们利用参数的区间估计与假设检验，来看看我们拟合出来的模型到底有没有用。

---

参考文献

[1] 线性回归估计相合性问题的新进展 .

---

写在最后

欢迎感兴趣的小伙伴来跟作者一起挑刺儿~ 包括但不限于语言上的、排版上的和内容上的不足和疏漏~ 一起进步呀！
有任何问题，欢迎在本文下方留言，或者将问题发送至勘误邮箱： [email protected]
谢谢大家！