估计——最小方差无偏估计

- 确定好的估计量

- 建立数据的数学模型：一般由于数据固有的随机性，则选择它们的PDF来描述它，即 

- 运用PDF和相关约束条件来获取估计量：估计对象是一个确定性的参数，只是具体值未知。如果估计对象是一个随机变量，则需要引入估计对象的先验分布，利用贝叶斯方法进行估计。

- 最佳估计量的选择：估计量性能的评估（无偏性、有效性以及一致性）。常用的方法：期望验证无偏；CRLB（Cramer-Rao Lower Bound）和方差验证有效；一致性利用依概率收敛验证。

 

- 估计方法一——最小方差无偏估计(MVU)

- 无偏估计量：估计量的均值为未知参数的真值  即 。（注意：无偏估计量并不意味着它就是好的/最佳的估计量）

- 无偏性的另一个重要含义：当同一参数有多个估计量可用的请况  。 一个合理的解决方法，对这些估计组合求平均，从而获取更好的估计，即是。若干每个估计量是无偏，方差相同且互不相关，则有

                                                                            

                                                   

- 有偏估计量：一般请况定义估计量的偏差为

                                                                    

- 最小方差准则：一个自然的准则是均方误差（MSE）

定义为

                                                           

           

- MVUE是否存在：对所有的具有最小方差的无偏估计   例如下图（图片来源：Steven M. Kay《Fundamental of statistical signal processing estimation theory》）

                       

- 求MVUE：MVUE即使存在，可能也无法求取请况。有几种常用方法：1）利用CRLB，检查是否有某些参数估计量满足MVUE；2）应用RBLS(Rao-Blackwell-Lehman-Scheffe)定理；3）进一步限制估计量是无偏的，且还是线性的，然后在这些限制中找到MVU。这三个方法后面会逐一说明。