参数估计之点估计和区间估计

作者 | CDA数据分析师

参数估计（parameter estimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，分为点估计和区间估计两部分。

一、点估计

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。简单的来说，指直接以样本指标来估计总体指标，也叫定值估计。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。构造点估计常用的方法是：

①矩估计法，用样本矩估计总体矩

②最大似然估计法。利用样本分布密度构造似然函数来求出参数的最大似然估计。

③最小二乘法。主要用于线性统计模型中的参数估计问题。

④贝叶斯估计法。

可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。下面介绍一下最常用的矩估计法和最大似然估计法。

1、矩估计法

矩估计法, 也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。它是由英国统计学家皮尔逊Pearson于1894年提出的，也是最古老的一种估计法之一。对于随机变量来说，矩是其最广泛，最常用的数字特征，主要有中心矩和原点矩。 由辛钦大数定律知，简单随机样本的原点矩依概率收敛到相应的总体原点矩，这就启发我们想到用样本矩替换总体矩，进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。用矩法求得的估计称为矩法估计，简称矩估计。最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体的方差。

2、最大似然估计法

此法作为一种重要而普遍的点估计法，由英国统计学家R.A.费希尔在1912年提出。后来在他1921年和1925年的工作中又加以发展。设样本X=(X1,X2,…,Xn)的分布密度为L(X，θ)，若固定X而将L视为θ的函数，则称为似然函数，当X是简单随机样本时，它等于ƒ(X1，θ）ƒ(X2，θ）…ƒ(Xn，θ），其中，ƒ(X，θ）是总体分布的密度函数或概率函数（见概率分布）。一经得到样本值x，就确定x，然后使用估计g（θ），这就是g（θ）的最大似然估计。

二、区间估计

通过从总体中抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，以作为总体的分布参数(或参数的函数)的真值所在范围的估计。用数轴上的一段经历或一个数据区间，表示总体参数的可能范围。这一段距离或数据区间称为区间估计的置信区间。下面分别介绍一个总体参数的区间估计和两个总体参数的区间估计。

1、一个总体参数的区间估计

总体均值适用的统计量及其置信区间：

总体比例适用的统计量及其置信区间：

2、两个总体参数的区间估计