加权最小二乘法

加权最小二乘法

参考文献

加权最小二乘法与局部加权线性回归

逻辑

1. 普通最小二乘法OLS
2. 加权最小二乘法
   (1) 广义最小二乘法（加权最小二乘法是广义最小二乘法的一种特殊情形）
   (2) 加权最小二乘法
   (3) 广义最小二乘 & 普通最小二乘模型 的转换

一 普通最小二乘法OLS

普通最小二乘法的回归模型：$$Y=X\beta +ϵ$$
$Y:n\ast 1,X:n\ast p,ϵ:p\ast 1,$ 由于有常数项，所以自变量个数其实是 $p-1$ 个.

普通最小二乘法就是使得 残差平方和 最小：$$RSS(\beta )=||Y-X\beta |{|}^2=(Y-X\beta {)}^T(Y-X\beta ).$$ $\beta$ 的估计：$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y.$

在该假设下，估计 $\hat{\beta }$ 是 $\beta$ 所有线性无偏估计中方差最小的。

二 加权最小二乘法

加权最小二乘法是广义最小二乘法的一种特殊情形，普通最小二乘法是一种特殊的加权最小二乘法。
普通最小二乘法 $\in$ 加权最小二乘法 $\in$ 广义最小二乘法

1 广义最小二乘法

广义最小二乘法模型：

$\Sigma$ 是我们已知的一个 $n\ast n$ 正定对称矩阵，其中 ${\sigma }^2$ 不一定是已知的。且不要求误差项 $ϵ$ 的各分量间互不相关了。

广义最小二乘法就是使得 广义残差平方和 最小：$$RSS(\beta )=(Y-X\beta {)}^T{\Sigma }^{-1}(Y-X\beta ).$$ $\beta$ 的估计：$\hat{\beta }=(X^T{\Sigma }^{-1}X{)}^{-1}{X}^T{\Sigma }^{-1}Y.$

2 加权最小二乘法

加权最小二乘法：对上述的 $\Sigma$ 取一种特殊的矩阵——对角阵，且这个对角阵的对角元都是常数，也就是权重 $w_i$ 的倒数.
$$Cov(ϵ)={\sigma }^2\Sigma ={\sigma }^2\left(\begin{array}{cccc}\frac{1}{w_1}& 0& \cdots & 0\\ 0& \frac{1}{w_2}& & 0\\ & & \cdots & \\ ⋮& ⋮& & ⋮\\ & & \ddots & \\ 0& 0& & \frac{1}{w_n}\\ & & \cdots & \end{array}\right)$$ ${\omega }_i$ 表示第 $i$ 个样本在回归里的权重，从上式可以看出来，具有较大权的样本具有较小的方差，因此，它在回归问题里显得更加重要。

不妨用 $W$ 来表示权重矩阵，那么 $W={\Sigma }^{-1}$，此时，我们用广义最小二乘的方法来求系数的估计，即最小化广义残差平方和：$$RSS(\beta )=(Y-X\beta {)}^{T}W(Y-X\beta ).$$ $\beta$ 的估计结果为：${\beta }^{=}(X^{T}WX{)}^{-1}{X}^{T}WY.$

3 加权最小二乘 & 普通最小二乘模型 的转换

${\Sigma }^{-1}$ 的平方根 $C$：
$$C=\sqrt{W}=\sqrt{{\Sigma }^{-1}}\left(\begin{array}{cccc}\sqrt{w_1}& 0& \cdots & 0\\ 0& \sqrt{w_2}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \sqrt{w_n}\end{array}\right)$$
对加权最小二乘法回归模型 $Y=X\beta +ϵ$ 的每一项乘以 $C$：$$CY=CX\beta +Cϵ.$$ $Cϵ$ 的协方差阵为：$$Var(Cϵ)=CVar(ϵ)C^T=C{\sigma }^2\Sigma C^T=C{\sigma }^2(C^{T}C{)}^{-1}{C}^T={\sigma }^2{I}_n.$$就是满足 $Gauss-Markov$ 假设的普通线性回归模型了.

不妨重新对变量命名：$$Z=M\beta +d$$其中，$$Z=CY=\left(\begin{array}{c}\sqrt{w_1}{y}_1\\ \sqrt{w_2}{y}_2\\ ⋮\\ \sqrt{w_n}{y}_n\end{array}\right)$$
$$M=CX=\left(\begin{array}{cccc}\sqrt{w_1}& \sqrt{w_1}{x}_{11}& \cdots & \sqrt{w_1}{x}_{1,p-1}\\ \sqrt{w_2}& \sqrt{w_2}{x}_{21}& \cdots & \sqrt{w_2}{x}_{2,p-1}\\ ⋮& ⋮& \ddots & ⋮\\ \sqrt{w_n}& \sqrt{w_n}{x}_{n1}& \cdots & \sqrt{w_n}{x}_{n,p-1}\end{array}\right)$$
$$d=Cϵ$$ 新模型用普通最小二乘所估计出来的 $\hat{\beta }$ 和原模型（加权最小二乘模型）是一样的，而且线性无偏方差最小的性质和分布，检验等都可以用起来了，如 $R^2$ 及显著性检验等来看拟合的好坏。