Fisher信息量与Fisher观测信息量

Fisher信息量

Fisher信息量的定义在之前的博客中详细介绍了，定义是：
$$I(\theta )=-E_{\theta }[\frac{{\partial }^{2}f(x;\theta )}{\partial {\theta }^2}]=-{\int }_x\frac{{\partial }^{2}f(x;\theta )}{\partial {\theta }^2}f(x;\theta )dx$$
最大似然估计量的渐进分布的方差由Fisher信息量的倒数给出：
$$\hat{\theta }=N(\theta ,\frac{1}{I(\theta )})$$其中，$\theta$是参数真值。由于真值不得而知，因此只能用plug-in形式的Fisher信息量：$$I(\hat{\theta })$$

Fisher观测信息量

Fisher包括后来的一些统计学家如斯坦福的Efron认为Fisher观测信息比plug-in的Fisher信息量更加能够反映估计值$\hat{\theta }$的准确性。
观测Fisher信息定义为：
$$I(x)=-\frac{{\partial }^{2}f(x;\theta )}{\partial {\theta }^2}{|}_{\theta =\hat{\theta }}$$
这里自变量换成$x$是因为利用数据获得了一个具体取值，也就是说$\hat{\theta }=g(x)$这很好理解，首先求取似然函数负二阶导数，然后利用数据$x$估计一个$\hat{\theta }$，然后带入到负二阶导数的表达式里面去。估计值的分布变成了$$N(\theta ,\frac{1}{I(x)})$$