Fisher Information

1. The Likelihood

• 似然函数: 设 X 的p.d.f.为 f(x;θ) ，其中 θ 为参数，i.i.d.样本 X˜=(X1,...,Xn) ,那么似然函数为：
  
  L(θ;x˜)=∏i=1nf(xi;θ).
• 对数似然函数: l(θ)=logL(θ;x˜).
• 计分函数(Score function): S(θ)=∂∂θl(θ).

Remarks:(Property of the score function):
1. S(θ^MLE)=0 ;
2. (Thm) 在正则性条件下， Eθ[S(θ)]=0 ;

---

2. Fisher Information

关键词： 观测Fisher信息量 期望Fisher信息量
* Fisher Information [@wiki_Fisher_information]： I(θ)=−∂2∂θ2l(θ).

Remarks:(Property of the Fisher information):

1. 记 I(θ^MLE) 为观测Fisher信息量(observed Fisher information),是一个值而非函数；
2. 期望Fisher信息量(Expected Fisher information)定义为： I(θ)=Eθ[I(θ)]=−Eθ{∂2∂θ2l(θ)} ;
3. (Thm) 在正则性条件下,
   
   varθS(θ)=I(θ);
   
   由于 Eθ[S(θ)]=0 ，上式等同于：
   
   I(θ)=Eθ[S(θ)2]=Eθ{[∂∂θlogL(θ)]2}=n∫[(∂f(x;θ)∂θ)2/f(x;θ)]dx.
   
   （这个定理避免了求二阶导）；
4. 期望Fisher信息量是关于 θ 的函数.

2.1 Cramer-Rao下界(CRLB)

(Thm) 在正则性条件下, 对 h(θ) 的任一无偏估计 h^=h(X1,...,Xn) ,有

Varθ(h^)≥(h′(θ))2/I(θ).

2.2 CRLB 在极大似然估计的方差估计（和标准误估计）中的应用[@casella2002statistical2]

1. 由之前可知，MLE在正则条件下是相合的，渐近有效估计；

2. 对于MLE θ^ , 任意单调函数 h(θ) 的方差估计：
   

   Var(h(θ^))≈[h′(θ)]2I(θ)=[h′(θ)]2Eθ[−∂2∂θ2logL(θ)]≈[h′(θ)]2|θ=θ^−{∂2∂θ2logL(θ)}|θ=θ^
   • 第一个约等号是由渐近有效性的定义得的，方差渐近收敛到CRLB;
   • 第二个约等号是用观测Fisher信息量来估计期望Fisher信息量；
   • 理论证明了观测Fisher信息量优于期望Fisher信息量；
   • 记 Var^(hθ(θ^))≡[h′(θ)]2|θ=θ^−{∂2∂θ2logL(θ)}|θ=θ^ ，因为这里用了两次近似;

3. 估计方差可用于大样本的问题框架下；

4. 标准误估计： se^(hθ(θ^))=Var^(hθ(θ^)).

---

3. The regularity condition(正则性条件)

正则性条件就是积分与求导可交换条件，如：

ddθEθ[S(θ)]=∫∂∂θ[S(θ)f(x;θ)]dx

4. The multiparameter condition

Remarks:

• 文中的向量均为列向量；
• 参考Sectoin8.7[@pawitan2001all], [@wiki_CRLB];

4.1 Notations:

1. θ=(θ1,θ2,...,θp)T;
2. S(θ)=∂∂θlogL(θ)=(∂∂θ1logL(θ),∂∂θ2logL(θ),...,∂∂θplogL(θ))T;

3. I(θ)=−∂2∂θ∂θ′logL(θ);

   • Iij(θ)=−(∂∂θilogL(θ))(∂∂θjlogL(θ));

4. Expected Fisher information: I(θ)=EθI(θ);

   • 在正则条件下 (I(θ))ij=−E[∂2∂θi∂θjlogL(θ)];

4.2 Multiparamter CRLB

(Thm) T(X) 是一个标量函数，是标量 g(θ) 的无偏估计，那么

varθ(T)≥[∂∂θg(θ)]TI−1[∂∂θg(θ)];

(Thm) T(X) 是一个向量函数，是向量 g(θ) 的无偏估计，那么

covθ(T)≥∂∂θg(θ)I−1[∂∂θg(θ)]T;

Remarks:

• ∂∂θg(θ) 是Jacobian matrix, 第 i,j 元素是： ∂gi(θ)∂θj ;

---

References: