统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型

MVU表示最小方差无偏估计，下面将推导一个线性模型的MVUE，即最小方差无偏估计量。

线性模型可以表示为：
$$\mathbf{x}=\mathbf{H}\theta +\mathbf{w}$$
其中 $\theta$ 为待估参数，均为向量。当然，这里的MVU估计量也可以被称为BLUE，即最佳线性无偏估计量。
我们假设 $\mathbf{w}\sim \mathbf{N}(0,\mathbf{C})$ ，要根据克拉美罗界限求得最小方差无偏估计量，依据公式：
$$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }=I(\theta )(g(x)-\theta )$$
可以得到克拉美罗界限$I(\theta )$，以及最小方差无偏估计量 $\hat{\theta }=g(x)$，所以我们的目的就是求$\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }$。
$$p(\mathbf{x};\theta )=\frac{1}{(2\pi {)}^{\frac{\mathbf{N}}{2}}\mathbf{d}\mathbf{e}\mathbf{t}(\mathbf{C}{)}^{\frac{1}{2}}}\mathbf{e}\mathbf{x}\mathbf{p}(-\frac{1}{2}(\mathbf{x}-\mathbf{H}\theta {)}^{\mathbf{T}}{\mathbf{C}}^{-1}(\mathbf{x}-\mathbf{H}\theta ))$$
$$\begin{array}{rl}\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }& =-\frac{1}{2}\frac{\partial }{\partial \theta }[x^T{C}^{-1}x+(H\theta {)}^T{C}^{-1}(H\theta )-(H\theta {)}^T{C}^{-1}x-x^T{C}^{-1}(H\theta )]\\ & =-\frac{1}{2}[2H^T{C}^{-1}H\theta -2H^T{C}^{-1}x]\\ & =-H^T{C}^{-1}H\theta +H^T{C}^{-1}x\\ & =(H^T{C}^{-1}H)((H^T{C}^{-1}H{)}^{-1}{H}^T{C}^{-1}x-\theta )\end{array}$$

得到 $$\hat{\theta }=g(x)=(H^T{C}^{-1}H{)}^{-1}{H}^T{C}^{-1}x$$
$$var(\theta )=I(\theta {)}^{-1}=(H^T{C}^{-1}H{)}^{-1}$$
这个结论与最小二乘法相同。