最佳线性无偏估计量(BLUE)

- 引言

这个问题提出的原因:MVU估计量即使存在可能也无法求出。比如:有些情况下,可能并不知道数据的PDF;或知道噪声的矩统计量。这些请况下,依赖于CRLB以及充分统计量就不可用,而且充分统计量的方法也无法保证得到的估计量是最佳的MVU估计量。

要得到最佳MVU估计量,就有必要取寻找准最佳MVU估计量。若准最佳MVU估计量的方差可确定,且满足当前估计问题的需求,那么可认定它可用;若不可用,则需要寻找另外的准最佳MVU估计量。

寻找准最佳MVUE的常用方法:限制估计量为数据的线性函数,并求无偏且具有最小方差的线性估计,这就是BLUE。

 

- BLUE定义

观测数据 x[0],x[1],...,x[N-1] ,其PDF为 p(x;\theta ) 与未知参数 \theta 有关。BLUE限定估计量与数据呈线性,即

                                                                           \hat{\theta }=\sum_{n=0}^{N-1}a_{n}x[n]

a_{n}——待定的常数,a_{n} 选择不同,则会得到 \theta 的不同估计量;

但是,最佳BLUE定义了估计量的特征:无偏,最小方差,因此可用这些特性约束条件来求取产生BLUE的 a_{n} 值。这个问题可以变成一个带约束的最优问题,即有

             目标函数: \hat{\theta }=\sum_{n=0}^{N-1}a_{n}x[n]

             约束条件: 无偏:E(\hat{\theta })=\sum_{n=0}^{N-1}a_{n}E(x[n])=\theta

                                最小方差: var(\hat{\theta })=E[(\hat{\theta }-E(\hat{\theta }))^{2}]

 

- 简化上述带约束的最优问题

1) 对方差进行矩阵简化表示过程

                           var(\hat{\theta })=E[(\hat{\theta }-E(\hat{\theta }))^{2}]=E[(\sum_{n=0}^{N-)1}a_{n}x[n]-E(\sum_{n=0}^{N-1}a_{n}x[n]))^{2}]

令 权重矢量 a=[a_{0},a_{1},...,a_{N-1}]^{T}   则上式进一步写为

                              var(\hat{\theta })=E[(a^{T}X-a^{T}E(X))^{2}]=E[(a^{T}(X-E(X)))^{2}]

即                             var(\hat{\theta })=E[a^{T}(X-E(X))(X-E(X))^{T}a]=a^{T}Ca

2) 对无偏过程:

                                             E(\hat{\theta })=aE(\sum_{n=0}^{N-1}x[n])=\theta

为了满足无偏的约束,E(x[n]) 必须是与 \theta 呈线性,即

                                                    E[x[n]]=s[n]\theta

s[n]已知,无偏约束条件变为

                               E(\hat{\theta })=\sum_{n=0}^{N-1}a_{n}E[x[n])=\sum_{n=0}^{N-1}a_{n}s[n]\theta =\theta

                                                         \sum_{n=0}^{N-1}a_{n}s[n] =I

即                                                      a^{T}S=I

3) 最小化问题变为

                                               var(\hat{\theta })=min(a^{T}Ca)

                                                          a^{T}S=I

 

- BLUE推导结果

最佳 a 为

                                                     a_{opt}=\frac{C^{-1}S}{S^{T}C^{-1}S}

BLUE 为

                                                      \hat{\theta }=\frac{S^{T}C^{-1}X}{S^{T}C^{-1}S}

最小方差为

                                                 var(\hat{\theta })=\frac{1}{S^{T}C^{-1}S}

BLUE-(高斯-马尔科夫定理)

          若数据具有线性模型

                                                            x=H\Theta +w

          其中 H 是已知的 n×p 矩阵,θ 是 p×1 的待估参数矢量,w 是 n×1 的均值为0、协方差为 C 的噪声矢量(w分布可是任意的),那么 θ 的BLUE为

                                                             \hat{\Theta}=(H^{T}C^{-1}H)^{-1}H^{T}C^{-1}x

         \hat{\Theta } 的协方差矩阵为

                                                            var(\hat{\Theta})=(H^{T}C^{-1}H)^{-1}

 

- 若观测值以及噪声矢量与其顺序统计量关系非常密切,建议使用 基于顺序统计量的BLUE(BLUE - OS),这样获取的参数估计精度更高。

你可能感兴趣的:(数学-统计,概论...)