估计量的评价标准--相合性，无偏差，有效性

        总的想法是希望估计量与所估参数在某种意义下最为接近，通常采用的评价标准有三个--相合性、无偏性和有效性．

1.相合性

定义1：

设为参数的一个估计量，若依概率收敛于,即

 补充：什么是依概率收敛：

         在概率论中，依概率收敛是随机变量收敛的方式之一。一个随机变量序列依概率收敛到某一个随机变量 X ，指的是 Xn 和 X 之间存在一定差距的可能性将会随着n 的增大而趋向于零。

 即对于任意的正数，有

 

则称为的相合估计或一致估计．

        矩估计法是以大数定律为理论依据，用样本的矩代替总体的矩对参数进行估计的，所以，作为辛钦大数定律的直接推论，我们有下面的定理：

        定理1：对任意的，若总体X的k阶原点矩存在，则样本的k阶原点矩就是总体k阶原点矩的一致估计量，即

        由定理2可知在和存在的条件下，有

         即样本二阶中心矩和样本方差都是其总体方差的一致估计．

        事实上定理2表明,凡矩估计法做的估计都是一致估计．

2.无偏性

        定义2：设为参数的一个估计量，若,则称为的无偏估计（量）．若，则称偏差为该估计的系统误差．若

 则称为的渐近无偏估计。

3.有效性

        定义3 ：

        设与都是参数的无偏估计量,若.

则称较有效

        若是的所有二阶矩存在的无偏估计中方差最小
的，即对同样的样本容量n

        

则称为的最小方差无偏估计。

       

        我们来看看它的具体应用：

        例1：设为来自总体的样本,，判断下
列统计量是否为μ的无偏估计，并对μ的无偏估计判断其有效性．

        

  

 例2：

 

         如果注意到

 

 则可知样本二阶中心矩是总体方差的渐近无偏估计．

       对f无偏估计，我们还需指出:即使是的无偏估计,也未必是的无偏估计.事实上，若，则

        

 可见，即使是的无偏估计，但是时,不是的无偏估计．

         由例1可知，作为μ的无偏估计，较单个样本有效，至千是不是μ的最小方差无偏估计，还需进一步讨论，因为我们无法列举μ的所有的无偏估计．不过，下面的克拉默－拉(Cramer-Rao)定理对寻找最小方差无偏估计很有用．

        定理3 克拉默－拉奥不等式 设是取自密度函数为

 ​​​​​​​

 的连续型总体X的样本，是的无偏估计，且满足正则条件：

 (1)集合与无关;

 (2)存在且对一切有

 

 

 

 (3)信息量

 则有不等式(克拉默－拉奥不等式．)

 

 且式中等号成立的充要条件是存在与,无关的常数K(可以与有关)，使

 其中

 称为克拉默－拉奥下界．

        对于离散型总体，只需将其中的密度函数换为分布律，将积分换为求和,这时克拉默拉奥不等式仍然成立．且克拉默－拉奥下界为

 定义4：如果的某无偏估计使克拉默－拉奥不等式中的等号成立，即

        

 则称为的优效估计．

如果是的一个无偏估计且方差和克拉默－拉奥下界均存在，则称其比值

 

为估计量的(有)效率．若效率满足

 

 则称为的渐近优效估计．

         显然，优效估计必然是最小方差无偏估计，但反之不然．因此，判断参数的估计是否为最小方差无偏估计的一个有效途径就是看它是否为优效估计．如果注意到期望值只与密度函数非零部分有关，故在 计算克拉默－拉奥下界时只需将密度函数非零部分代入即可

例3 

例4： 

 为了计算克拉默－拉奥下界，下面的定理有时是有用的．

        定理4：在定理4的条件下，若更设

         

 则

        ​​​​​​​

 

 我们这就来使用这个定理：

    例5：