最小二乘法——高斯-马尔可夫定理的证明，无偏估计、求系数的方差

前言

最小二乘法(least squares)是我们很早就接触过的一类系数求解方法，是广义线性回归的特殊情形——即一元线性回归。本文将假设误差遵从高斯——马尔可夫假设，证明为什么在该假设下，最小二乘法求得的系数是最佳的且无偏、并推导系数的的方差。

相关证明

最小二乘法数学式：

$y_i=x_i^T\beta +{\epsilon }_i$ --(1)

x i = ( 1 x i 0 x i 1 . . . x i k ) , β = ( b 0 b 1 . . . b k ) x_i=\begin{pmatrix}1\\ x_{i0} \\ x_{i1} \\... \\x_{ik}\end{pmatrix}, \beta= \begin{pmatrix}b_0 \\ b_1 \\... \\ b_k\end{pmatrix} xi​= ​1xi0​xi1​...xik​​ ​,β= ​b0​b1​...bk​​ ​。

$\epsilon$为误差项，假设其服从高斯——马尔可夫假设，即均值为0，且与随机变量$x_i$无关，所有的误差的方差都相同且各自之间不相关且$X$为一个确定值。既有：

$E({\epsilon }_i)=0$, $-(假设1)$

$E(\epsilon |x)=0$, $-(假设2)$

$var(\epsilon )={\sigma }^{2}I$。 $-(假设3)$

其中$I$为单位矩阵。

下面首先求$\beta$的估计值$\hat{\beta }$，并证明它是$\beta$的无偏估计，先不考虑（1）式中的误差项，并将有所的样本带入上市，我们可得：

$Y=X^T\beta$ $-(2)$

其中$Y=(y_0,y_1,...,y_n{)}^T,X=(x_0,x_1,...,x_n)$
为了求出$\beta$的值，首先将（2）式两边左乘$X$，然后在左乘$(X{X}^T{)}^{-1}$,即可推出

$\hat{\beta }=(X{X}^T{)}^{-1}XY$

无偏估计

下面证明$\hat{\beta }$是$\beta$的无偏估计。
$\begin{array}{rcl}E(\hat{\beta })& =& \text{E}((X{X}^T{)}^{-1}XY)\\ & =& E((X{X}^T{)}^{-1}X(X^T\beta +\epsilon ))\\ & =& \text{E}(\beta +(X{X}^T{)}^{-1}X\epsilon )\\ & =& \beta +E(\beta +(X{X}^T{)}^{-1}X\epsilon )-(3)\\ & =& \beta +E((X{X}^T{)}^{-1}X)\ast E(\epsilon )-(4)\\ & =& \beta -(5)\end{array}$
上式(3)到(4)利用了假设2,(4)到(5)利用了假设3,证毕。

系数的标准差及P值

下面求系数的标准差。
$\begin{array}{rcl}var(\bar{\beta })& =& E((\hat{\beta }-\beta )(\hat{\beta }-\beta {)}^T)\\ & =& E((X{X}^T{)}^{-1}X\epsilon \ast {\epsilon }^T{X}^T(X{X}^T{)}^{-1})-(5)\\ & =& (X{X}^T{)}^{-1}XE(\epsilon {\epsilon }^T)X^T(X{X}^T{)}^{-1}-(6)\\ & =& {\sigma }^2(X{X}^T{)}^{-1}\end{array}$

从(5)式到(6式)的原因是我们假设$X$为确定值，对于每一个系数，它的标准差为：

$S{E}_i=\sqrt{{\sigma }^2(X^{T}X{)}_{ii}^{-1}}$

知道了标准差，我们可以进行特征系数的t检验。

原假设：特征对label没有影响，即系数为0。

备择假设：特征对label有影响，系数不为0。

参考文章假设检验、显著性水平、P值、Z值的理解：构造中间量$z$

$z=\frac{{\beta }_i-k}{S{E}_i}$，其中k=0，${\beta }_i$，$S{E}_i$都是已求得的量，继而P值也可以求得。

现在用反证法来证明最小二乘估计是最佳无偏线性估计，假设存在比最小二乘估计更好的无偏线性估计$\bar{\beta }=CY$， 由于$C$的任意性，设$C=(X{X}^T{)}^{-1}X+D$，其中$D$是$(k+1)\ast N$的非零矩阵，$k+1$为特征个数加上一个常量项,$N$为样本个数。

由假设条件， 是无偏估计，所以必须满足$E(\bar{\beta })=\beta$，而：
$\begin{array}{rcl}E(\bar{\beta })& =& E(CY)\\ & =& E(((X{X}^T{)}^{-1}X+D)(X^T\beta +\epsilon ))\\ & =& E(((X{X}^T{)}^{-1}X+D)X^T\beta )+E((X{X}^T{)}^{-1}X+D)E(\epsilon )\\ & =& E(((X{X}^T{)}^{-1}X+D)X^T\beta )\\ & =& \beta (I+D{X}^T)\end{array}$
所以$D{X}^T=0$。
既有：
$\begin{array}{rcl}var(\bar{\beta })& =& E[[((X{X}^T{)}^{-1}X+D)Y-((X{X}^T{)}^{-1}XY-(X{X}^T{)}^{-1}X\epsilon )][((X{X}^T{)}^{-1}X+D)Y-((X{X}^T{)}^{-1}XY-(X{X}^T{)}^{-1}X\epsilon {)}^T]]\\ & =& E[(DY+(X{X}^T{)}^{-1}X\epsilon )(DY+(X{X}^T{)}^{-1}X\epsilon {)}^T]\\ & =& E(DY{Y}^T{D}^T+DY{\epsilon }^T{X}^T(X{X}^T{)}^{-1}+(X{X}^T{)}^{-1}X\epsilon Y^T{D}^T+(X{X}^T{)}^{-1}X\epsilon {\epsilon }^T{X}^T(X{X}^T{)}^{-1})\\ & =& {\sigma }^{2}D{D}^T+E(D(X^T\beta +\epsilon ){\epsilon }^T{X}^T(X{X}^T{)}^{-1})+E((X{X}^T{)}^{-1}X\epsilon (X^T\beta +\epsilon {)}^T{D}^T)+{\sigma }^{2}E(X{X}^T{)}^{-1}\\ & =& {\sigma }^{2}D{D}^T+E(D{X}^T\beta {\epsilon }^T{X}^T\ast (X{X}^T{)}^{-1})+E(D\epsilon {\epsilon }^T{X}^T(X{X}^T{)}^{-1})+E((X{X}^T)X\epsilon {\beta }^{T}X{D}^T)+E((X{X}^T)X\epsilon {\epsilon }^T{D}^T)+{\sigma }^{2}E(X{X}^T{)}^{-1}\\ & =& {\sigma }^{2}D{D}^T+{\sigma }^{2}E(X{X}^T{)}^{-1}\end{array}$

由于$D{D}^T$对角线上的值都是大于等于0的，因此$\bar{\beta }$的协方差是大于等于$\hat{\beta }$的，与原假设相矛盾，也即$\hat{\beta }$是最佳的无偏估计，证毕。

高斯-马尔可夫定理的优点同局限性

高斯-马尔可夫定理的优点在于，它证明了简单的线性模型计算出的参数是最优的，而线性模型的最大优点在于计算简单、效率高，同时我们也可以检验出计算出的系数是否是显著的。它的局限性就在于它的几个强假设，比如$X$是确定的，且各个误差项都是独立的且均值都为0，但在实际情况中，上面的假设是比较强的，如$X$是会受到抽样的影响，在时序数据中，各个误差项并不独立。另一方面，高斯-马尔可夫定理针对的是线性情况，在非线性下它的结论不在成立。

参考文献：

[1]最小二乘法与高斯-马尔可夫定理

[2]高斯-马尔可夫定理-维基百科

[3]常用算法分析——最小二乘法

[4]最小二乘法的利与弊：高斯马尔科夫定理