(数理统计基础2)参数估计

符号说明：设有一个统计总体，以表示其概率密度函数（若总体为离散型则为概率函数）。其中，表示任意实数，表示未知的参数，以正态分布为例，，

1. 估计方法

点估计

方法

从总体中抽出样本，依据这些样本对参数进行估计。

例子：

指数分布为例：假设随机变量服从以为参数的泊松分布，参数未知，现在知道样本值，我们可以利用泊松分布中，通过计算样本均值，对进行估计。

---

1.1 矩估计

可以理解成解方程组。。。

啥是矩？

随机变量数字特征复习

样本均值：

样本方差：

由大数定理可知，样本矩的连续函数依概率收敛于相应的总体矩的连续函数

一般情况下，通过计算样本方差和样本均值可以解决大多数常见分布的矩估计问题。

1.2 极大似然估计

直观理解

在随机试验中，假设随机变量有概率密度函数。而是从总体中抽出的样本，那么，这个的随机变量的联合概率密度为：

记为。

那么现在来皮一下，对进行两种操作：

• 固定住:

  • 这个时候，是一个概率密度函数，若存在，我们可以理解为在观察时，出现的概率要大于出现的概率。

• 固定住：

  • 当观察到时，若出现，则说明被估计参数比更接近与真实的。
  • 也就可以理解为：函数对于不同的的取值，反映了在观察值已知的情况下，的各种“似然程度”。

为了获得最近接真实的参数，一个很自然的想法就是要在固定住的情况下，使得这个尽可能的大。

定义

在公式(3.1)中，就叫做的最大似然估计。

为了计算方便，就左右同时取了对数。需使达到最大，在对存在连续的偏导数时，可以建立方程组（似然方程组）：

---

1.3 贝叶斯估计

假设我们要估计一个参数: ，假设这个存在某种概率分布（可以是你自己YY出来的，也可以是根据之前类似的经验得出来的），记为。
那么设有总体概率密度，从总体中抽取出，则样本的密度为，那么的联合概率密度为：

先求的边缘概率密度，有

（积分上下限看的取值范围。）
然后在已知的情况下，的条件概率为：

这个条件密度代表了后验知识，原先的代表了先验知识，此后，针对的所有统计推断都是基于后验分布。

ps:一般来说需要满足，且，若不满足，则称为广义先验密度。

---

2. 估计量的评选标准

2.1 无偏性

若估计量的数学期望，则称为无偏估计。

在样本中，将作为设的估计量。

2.2 有效性

若 与 相比，有

则比有效

同一个参数可以用好多中方法进行参数估计，因此涉及一个判断优劣的问题，这就需要为估计量指定优劣准则，进而研究在某种准则下寻找最优估计量的问题。

---

3. 区间估计

大白话

上述的几个估计方法都属于点估计的范畴，而区间估计则是用一个区间去估计一个参数，换句话说就是把未知的参数值设定在一个界限范围内。例如：估计一个人的年龄，点估计的结果为，这个人可能有33岁；区间估计的结果为，这个人应该在30-35岁之间。

区间估计其实就是找带估计参数的取值范围。这个取值范围需要满足两个条件：

1. 要很大可能落在这个取值范围内，也就是对于样本而言，有
   
   尽可能的大。

2.估计的精度要尽可能的高，即要尽可能的小。

定义

给定一个很小的数 ，如果有对参数的任何值，公式(3.1)的计算结果都等于,那么，就称估计区间的置信系数为。（OS：对该区间能包含未知参数可置信到何种程度）

根据提供的信息：样本均值、样本方差，样本数量以及对应的总体均值和总体方差（虽然有的时候不提供），先确定属于什么样的分布。其中的一种。已知概率求解对应的参数。

---

4. 参加文献

• 极大似然函数的概念