极大似然估计值的标准差

极大似然估计有很好的渐进性质，在一定正则条件下具有强相合性和渐进正态性。

预备知识

设 X1,X2,...,Xn 为独立同分布样本， X1∼f(x1,θ),l(θ,x1)=logf(x1,θ) 则有，

S(x1,θ)=l˙(θ,x1)=∂logf(x1,θ)∂θ,Eθ[l˙(θ,X1)]=0

Var[(l˙(θ,X1))]=Eθ[−l¨(θ,X1)]=i(θ),

其中， i(θ) 为 X1 的Fisher信息。由于 X∼f(x,θ)=∏i=1nf(xi,θ) ,因此有

L(θ)=∑i=1nl(θ,xi).(1)

基于(1)应用大数定律和中心极限定理，可得如下与似然函数有关的许多重要性质。
定理1：设 X=(X1,...,Xn)T∼f(x,θ),θ∈Θ⊂Rp 为C-R分布族，并设 X1,X2,...,Xn 独立同分布， X1
的Fisher信息为 i(θ) ,则有
(1) n−1L˙(θ)→0(a.e.), 且有 L˙(θ)=op(n);
(2) n−1L(k)(θ)=Op(1), 即 L(k)(θ)=Op(n),k=2,3,..., 特别有

−1nL¨(θ)→i(θ)(a.e.),[−L¨(θ)]−1=Op(n−1);

(3)score函数 S(X,θ)=L˙(θ) 有以下渐进正态性：

1(√n)L˙(θ)→N(θ,i(θ)),L˙(θ)=Op(n1/2);

(4)观察信息 −L¨(θ) 与Fisher信息之间有以下重要关系：

1(√n)[−L¨(θ)−I(θ)]→LN(0,v2(θ)),−L¨(θ)=I(θ)+Op(n1/2),

[−L¨(θ)]−1=I−1(θ)+Op(n−3/2)

方差估计方法

由渐进分布知，当各参数是独立的话，其方差为Fisher信息阵的对角元素。因此求出Fisher信息阵对角元素即可。值得注意的是可用如下估计 Var(θ^)=(∂2L∂θ2i)−1|θ=θ1 .

参考：(1)极大似然估
(2)韦博成. 参数统计教程