线性最小二乘法的系数方差估计

线性模型
$$y=X\beta +ϵ$$
$ϵ\in {\mathbb{R}}^{m\times 1}$假定为白噪声，方差为${\sigma }^2$，$y\in {\mathbb{R}}^{m\times 1},X\in {\mathbb{R}}^{m\times n}$已经中心化,即各列符合正态分布，且均值为0。这是线性模型能起到作用的必要条件
最小二乘法的解为
$$\hat{\beta }=(X^{T}X)X^{T}y=X^{+}y,\hat{\beta }\in {\mathbb{R}}^{n\times 1}$$
无偏估量性质
$$\begin{gathered} E(\hat{\beta })=E(X^{+}y)=E(X^{+}(X\beta +ϵ)) \\ =E(\beta +X^{+}ϵ)=\beta +E(X^{+}ϵ)=\beta \end{gathered}$$
$\beta$为实际的系数
参数方差估计
$$Var(\hat{\beta }-\beta )=Var(X^{+}ϵ)=X^{+}var(ϵ)[X^{+}{]}^T)={\sigma }^2(X^{T}X{)}^{-1}$$
假设有单位向量$w\in {\mathbb{R}}^{n\times 1},s.t.||w||=1$，则有
$$Var(w^T\hat{\beta })=w^{T}Var(\hat{\beta })w={\sigma }^2{w}^T(X^{T}X{)}^{-1}w$$