统计学笔记（八）参数估计

1、参数估计的基本原理

1.1 估计量与估计值

• 参数估计(parameter estimation)就是用样本量取估计总体参数；
• 在参数估计中，用来估计总体参数的统计量称为「 估计量」，例如样本均值、样本比例、样本方差等。根据一个具体的样本计算出来的估计量的数值称为「 估计值」。

1.2 点估计与区间估计

• 「点估计」（point estimation）就是用样本的统计量的某个取值直接作为总体参数的估计值；
• 「区间估计」(interval estimation) 是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减一个误差得到。

区间估计的理解：由经验法则可以知道，样本均值落在总体均值的2个标准差范围内的概率是0.954，但我们在进行参数估计时，已知的是样本均值，而总体均值是未知的。由于样本均值与总体均值的距离是对称的，如果某个样本均值落在总体均值2个标准差范围内，那么总体均值也就被包括在以样本均值为中心的两个标准差范围内。
也就是说，约有95%的样本均值所构造的2个标准差的区间会包括总体均值。通俗的说，如果抽取100个样本来估计总体的均值，由100个样本所购在的100个区间中，约有95个区间会包含总体均值，另外5个区间则不包含总体均值。

• 由样本估计量所构造的总体参数的估计区间称为「置信区间」（confidence interval）,区间的最小值称为「置信下限」，区间的最大值称为「置信上限」；
• 如果将构造置信区间的步骤重复多次，置信区间包含总体参数真值的次数所占的比例称为「置信水平」（置信系数或置信度）。
• 置信区间是一个随机区间，抽取的样本不同，构造的置信区间也可能不同；

如果我们得到了一个置信度为95%的置信区间，我们不能说总体均值有95%的概率落在这个区间内。因为总体均值是一个确定的值，对于一个特定的置信区间，总体均值要么落在里面，要么不落在里面，置信度是对所有的随机区间而言的，而不是对描述某个特定的区间是否包含总体参数真值的可能性。

1.3 评价估计量的标准

• 无偏性：是指估计量抽样分布的数学期望等于被估计的总体参数；
• 有效性：一个无偏的估计量并不意味着它就里总体参数非常接近，它还必须与总体参数的离散程度比较小。有效性是指对同一总体参数的两个无偏估计量，有更小的标准差的估计量更有效。
• 一致性：随着样本量的增加，估计量的值越来越接近被估计的总体参数。

2、一个总体参数的区间估计

3、两个总体参数的区间估计

4、参数估计与非参数估计对比

参数估计：
假设样本集符合某一概率分布，然后根据该样本集拟合该分布中的参数，例如：似然估计、混合高斯等。缺点是需要加入主观的先验知识，往往很难拟合出与真实分布一致模型。

非参数估计：
非参数估计不需要加入任何先验知识，而是相信数据，根据数据本身的特点和性质来拟合分布，例如核密度估计（KDE）。

参考资料

[1] 贾俊平. (2018). 统计学 (第7版). 中国人民大学出版社.