为什么对高斯分布的方差的极大似然估计是有偏的?

本文要证明为什么对高斯分布的方差的极大似然估计是有偏的。同时,也说明为什么求样本方差时,分母是N-1而不是N。


首先,明白两点,(1)极大似然法得到的高斯方差是什么形式(2)什么是有偏。


(1)先说第一个问题,用极大似然估计得到的高斯方差是什么。

假设有n个符合高斯独立同分布的观测值

,我们要根据这些样本值估计正态分布的期望和方差

以上信息可以表示为:

(1)

极大似然估计就要找需要合适的使得(1)式具有最大值。

对上式两边同时取对数,得

(2)

取对数操作的好处:1、log函数在定义域上是单调函数,便于求极值 2、便于计算机计算,因为过小的值做乘法运算可能会导致溢出,取对数操作之后,将乘法转换为加法,避免了这个问题。

对(2)式右边对求偏导,并令导数值为零,解得

(3)

对(2)式右边对求偏导,并令导数值为零,解得

(4)。

现在得到期望和方差的表达形式了,接下来判断他们是否有偏。

(2)有偏与无偏

如果一个变量的期望等于他的理想值,那么就称该变量无偏;否则称为有偏。

在下面的证明中,会用到多变量和、积的期望以及多变量和、积的方差公式:

当多个变量相互独立时,有


为什么对高斯分布的方差的极大似然估计是有偏的?_第1张图片

另外,

因为,的一个实例,服从什么分布,当然也服从。



预备知识讲完了,下面开始证明:

对于期望估计有,

(5)

对于方差估计则比较麻烦一些,

首先,对平方进行展开,再进行一些合并

为什么对高斯分布的方差的极大似然估计是有偏的?_第2张图片(6)

接着,分别求其中的后两项

(7)

(8)

最后,将(7)、(8)式带入(6)式,得

(9)


终于大功告成,所以均值估计是无偏的,方差估计是有偏的。那么无偏的方差估计应该是什么形式?

答案是,

(10)

这也就是为什么求样本方差的时候分母是N-1而不是N。

这种形式的方差估计的无偏性读者可以仿照上面进行证明。



你可能感兴趣的:(数学)