现代信号处理——参数估计理论（Fisher信息与克拉美罗（Cramer-Rao）下界）

假定随机信号x(t)隐藏有真实参数θ，根据信号的一次实现x，可以得到θ的一个估计子。一个自然会问的问题是，这一估计子是否是最优的呢？这个问题实际上可等价叙述为：在真实参数θ给定的情况下，根据信号实现值x能够得到的最优估计子应该使用什么标准评价呢？

为了回答上面的问题，不妨将x当作一随机变量看待，现在对条件分布密度函数f(xθ)的质量进行评估。这样一种评价测度称为随机变量x的品质函数(score function)。

在真实参数θ已知的条件下，样本x获得估计量是否最优，可由品质函数来评估。

一、品质函数：

定义：当真实参数θ已给定的条件下，随机变量x的品质函数V定义为条件分布密度函数的对数lnp(x|θ)相对于真实参数θ的偏导数，即

由于品质函数的均值为零，故其方差等于品质函数的二阶矩，即var[V(x)]=E{V2(x)}。品质函数的方差在评价无偏估计子性能时具有重要的意义。 

二、fisher信息：

定义：品质函数V(x)的方差称为fisher信息，用J(θ)表示，定义为：

 

Cramer-Rao下界是所有无偏估计子所能够达到的最低方差，利用它可以定义最有效的估计子，常简称为优效估计子。

三、无偏估计子称为是优效的，若其方差达到Cramer-Rao下界， 即  

 

Fisher信息是描述从观测数据能够得到的θ的“信息”的测度。它给出了利用观测数据估计参数θ所引起的方差的下界。但是，需要注意的是，满足这一下界的估计子有的时候可能不存在。 

 

例1：已知某观测样本x(n)=A+w(n),(n=0,1,…,N-1)其中w(n)是高斯白噪声，且方差为，均值为0。估计未知量A。 

 

 

 

 

参考视频与文献：

https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737​​​​​​​

现代信号处理（第三版）张贤达（编著）