【数理统计】学习笔记03：参数的点估计（矩估计和极大似然估计）

前文回顾：统计量的分布、正态总体的抽样分布定理

一、基本概念

• 参数： 反应总体 $X$ 某方面特征的量。
  • 例如：均值、方差、合格率、中位数等。
• 参数估计： 总体 $X$ 分布函数 $F(x,\theta )$ 形式已知，估计未知参数 $\theta$。
  • 非参数估计： 总体 $X$ 分布未知，对总体分布形态等的推断。
• 参数估计的形式： 点估计和区间估计。
  • 例如：天气预报
    明天最高温度：$20°\to$ 点估计
    明天最高温度：$19°\sim 21°\to$ 区间估计
• 点估计的定义：
  设总体 $X$ 的分布函数 $F(x,\theta )$ 形式已知，含有未知参数 $\theta$；
  抽取简单随机样本 $X_1,\cdots ,X_n$，$(x_1,\cdots ,x_n)$为一组样本观察值；
  构造合适的统计量 $g(X_1,\cdots ,X_n)$ 作为 $\theta$ 的估计量，记为 $\hat{\theta }=g(X_1,X_2,\cdots ,X_n)$，$\hat{\theta }=g(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的估计值。
  • 例如： 总体 $X\sim N(\mu ,{\sigma }^2)$，要估计期望 $\mu$：$(X_1,\cdots ,X_n)$，$(x_1,\cdots ,x_n)$
    构造合适的统计量：${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 由大树定律：${\bar{X}}_n\stackrel{P}{⟶}\mu$
    称样本均数 ${\bar{X}}_n$ 是 $\mu$ 的估计量，记为：$\hat{\mu }={\bar{X}}_n$。$\hat{\mu }={\bar{x}}_n$ 为 $\mu$ 的估计值。
• 点估计的一般方法： 矩法、极大似然法。

二、矩估计

2.1 矩估计的定义和求法

总体 $X$ 的分布函数 $F(x,\theta )$，含有 $t$ 个未知参数 $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_t)$，$(X_1,X_2,\cdots ,X_n)$ 是样本，构造前 $t$ 阶样本矩，求出前 $t$ 阶总体矩 $E{X}^k$:
$$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,\{\begin{array}{l}E{X}^k={\sum }_{i=1}^{+\infty }{x}_i^k{p}_i,k=1,2,\cdots ,t\\ E{X}^k={\int }_{-\infty }^{+\infty }{x}^{k}f(x)dx,k=1,2,\cdots ,t\end{array}$$ $$\{\begin{array}{l}{A}_1\\ A_2\\ ⋮\\ A_t\end{array}\stackrel{P}{\underset{（由大数定律）}{⟶}}\{\begin{array}{l}EX={\mu }_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_t)\\ E{X}^2={\mu }_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_t)\\ ⋮\\ E{X}^t={\mu }_t({\theta }_1,{\theta }_2,\cdots ,{\theta }_t)\end{array}$$令：$$\{\begin{array}{l}{A}_1=EX\\ A_2=E{X}^2\\ ⋮\\ A_t=E{X}^t\end{array}\Rightarrow \{\begin{array}{l}{\hat{\theta }}_1=g_1(A_1,A_2,\cdots ,A_t)\\ {\hat{\theta }}_2=g_2(A_1,A_2,\cdots ,A_t)\\ ⋮\\ {\hat{\theta }}_t=g_t(A_1,A_2,\cdots ,A_t)\end{array}$$由辛钦大数定律，对总体 $X$ 有 $A_1\stackrel{P}{⟶}EX$，对总体 $X^k$ 有 $A^k\stackrel{P}{⟶}E{X}^k$

例1： 总体 $X\sim U(a,b)$，$a,b$ 是未知参数，$(X_1,\cdots ,X_n)$ 为样本，试估计参数 $a,b$。

---

解：
$$\{\begin{array}{l}{A}_1\stackrel{P}{⟶}EX\\ A_2\stackrel{P}{⟶}E{X}^2\end{array}$$只要 $n$ 足够大，令：$$\{\begin{array}{l}{A}_1=EX\\ A_2=E{X}^2\end{array}\Rightarrow \{\begin{array}{l}{A}_1=(\hat{a}+\hat{b})/2\\ A_2=({\hat{a}}^2+\hat{a}\hat{b}+{\hat{b}}^2)/3\end{array}$$解得：$$\{\begin{array}{l}\hat{a}=\bar{X}-\sqrt{\frac{3}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}\\ \hat{b}=\bar{X}+\sqrt{\frac{3}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}\end{array}$$

---

其中：

1. $E{X}^2=DX+(EX{)}^2=(a^2+ab+b^2)/3$
2. 辛钦大数定律：总体 $X^2$，期望 $E{X}^2$，$(X_1^2,\cdots ,X_n^2)$ 为样本，样本均数 $\frac{1}{n}{\sum }_{i=1}^n{X}_i^2=A_2\stackrel{P}{⟶}E{X}^2$。

2.2 做题技巧

一般地，总体 $X$ 的分布函数 $F(x,\theta )$ 含有1到2个未知参数 $\theta =({\theta }_1,{\theta }_2)$。构造 $A_1,A_2$，令 $EX=A_1,E{X}^2=A_2$；或者构造 $A_1,B_2$，令 $EX=A_1,DX=B_2$。
$$\begin{array}{rl}{B}_2& =\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n}\sum _{i=1}^n(X_i^2-2\bar{X}{X}_i+{\bar{X}}^2)\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-2\bar{X}\frac{1}{n}\sum _{i=1}^n{X}_i+{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}^2\\ & =A_2-A_1^2\stackrel{P}{⟶}E{X}^2-(EX{)}^2=DX\end{array}$$矩估计的结果不唯一：
当 $EX\ne 0$ 时两种方法估计结果一致，当 $EX=0$ 时两种方法估计结果不一致。

顺延：
当某个统计量的值为0时，需顺延使用更高阶的统计量。
例如，当 $EX=0$ 时，我们使用 $A_2=E{X}^2$ 来代替 $A_1=EX$。

例2： 总体 $X\sim B(1,p)$，求 $p$ 的矩估计。

---

解： $EX=p$
构造样本均数 ${\bar{X}}_n$，令 ${\bar{X}}_n=EX$
解得：${\hat{p}}_{\text{矩}}={\bar{X}}_n=n_A/n$

例2应用： 估计一个池塘里有多少条鱼？

---

解： 设池塘中鱼的数目为 $n$，
从池塘中随机捞取 $k$ 条鱼，做上记号放回去，记号率：$k/n$
再从池塘中随机抽取 $m$ 条鱼，有记号的鱼的条数为 $k_1$，样本记号率：$k_1/m$，
令 $k/n=k_1/m$
解得 $\hat{n}=\frac{km}{k_1}$

例3： 总体 $X\sim B(n,p)$，$(X_1,\cdots ,X_m)$ 为样本，求 $n,p$ 的矩估计。

---

解：
$$EX=np,E{X}^2=DX+(EX{)}^2=np(1-p)+(np{)}^2$$构造样本均数 ${\bar{X}}_m$ 及 $A_2$，令 ${\bar{X}}_m=EX$，$A_2=E{X}^2$，得：
$$\{\begin{array}{l}{\bar{X}}_m=\hat{n}\hat{p}\\ A_2=\hat{n}\hat{p}(1-\hat{p})+(\hat{n}\hat{p}{)}^2\end{array}$$解得：$$\hat{n}=\frac{{\bar{X}}_m^2}{{\bar{X}}_m^2+{\bar{X}}_m-A_2};\hat{p}=\frac{{\bar{X}}_m^2+{\bar{X}}_m-A_2}{{\bar{X}}_m}$$

---

也可以构造样本均数 ${\bar{X}}_m$ 及 $B_2$，令 ${\bar{X}}_m=EX,B_2=DX$ 得：$$\{\begin{array}{l}{\bar{X}}_m=\hat{n}\hat{p}\\ B_2=\hat{n}\hat{p}(1-\hat{p})\end{array}$$解得：
$$\hat{n}=\frac{{\bar{X}}_m^2}{{\bar{X}}_m-B_2};\hat{p}=\frac{{\hat{X}}_m-B_2}{{\bar{X}}_m}$$

例4：
$f(x,\theta )=\{\begin{array}{l}(\theta +1)x^{\theta },0<x<1\\ 0,其他\end{array}$，$X_1,\cdots ,X_n$ 是样本，求 $\theta$ 矩估计量。
若已获得 $n=10$ 的样本值如下：$0.32,0.54,0.78,0.01,0.83,0.46,0.57,0.66,0.87,0.91$，求 $\theta$ 的矩估计值。

---

解：
$$EX={\int }_0^{1}x(1+\theta )x^{\theta }dx=\frac{\theta +1}{\theta +2}{x}^{\theta +2}{|}_0^1=\frac{\theta +1}{\theta +2}$$令
$$\bar{X}=EX$$即$$\bar{X}=\frac{\theta +1}{\theta +2}$$解得$$\hat{\theta }=\frac{1-2\bar{X}}{\bar{X}-1}=\frac{1-2\times 0.595}{0.595-1}=0.469$$

2.3 几个问题

1. 大样本精确，小样本不可用。
2. 令 $A_k=E{X}^k$，或者 $B_k=E(X-EX{)}^k$，阶数要相同。
3. 使用前 $K$ 阶矩，如果有前 $K$ 阶矩为零或已知常数，顺延。
4. 矩估计缺点：必须总体矩存在，且浪费了分布的信息。

三、极大似然估计

3.1 离散型随机变量极大似然估计量的求法

• 总体 $X\sim p(x,\theta ),\theta \in \Theta$，$\theta$ 是未知参数。$X_1,\cdots ,X_n$ 是样本，$x_1,\cdots ,x_n$ 为样本观察值，事件 $(X_1=x_1,\cdots ,X_2=x_2)$ 发生的概率为：
  • 似然函数：$L(\theta )=P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)={\prod }_{i=1}^{n}p(x_i;\theta )$
• 极大似然原理：$L\{\hat{\theta }(x_1,\cdots ,x_n)\}=\underset{\theta \in \Theta }{\max }L(\theta )$
  • $\hat{\theta }(x_1,\cdots ,x_n)$ 称为 $\theta$ 的极大似然估计值。
  • $\hat{\theta }(X_1,\cdots ,X_n)$ 称为 $\theta$ 的极大似然估计量（MLE）。
• 似然函数 $L(\theta )$ 是样本值点 $(x_1,\cdots ,x_n)$ 的概率，同时是未知参数 $\theta$ 的函数，$(x_1,\cdots ,x_n)$ 在一次抽样下发生，求 $L(\theta )$ 的最大值。

例1： 总体 $X\sim B(1,p)$ 分布，抽样得 $(1,0,1,1,0)$，求 $p$ 的估计值。

---

解：${\hat{p}}_{\text{矩}}=3/5$
既然 $(1,0,1,1,0)$ 再一次抽样下发生，则有理由认为 $(1,0,1,1,0)$ 发生的概率应该最大，事件 $(1,0,1,1,0)$ 发生的概率为：
$$\begin{array}{rl}& P(X_1=1,X_2=0,X_3=1,X_4=1,X_5=0)\\ =& P(X_1=1)P(X_2=0)P(X_3=1)P(X_4=1)P(X_5=0)\\ =& p^3(1-p{)}^2\end{array}$$设 $L(p)=p^3(1-p{)}^2$，求 $L(p)$ 的极大值：
令 $\frac{dL(p)}{dp}=0$，解得 ${\hat{p}}_M=3/5$

3.2 连续型随机变量极大似然估计量的求法

• 总体 $X$ 的密度函数 $f(x;\theta ),\theta \in \Theta$，$\theta$ 是未知参数。$X_1,\cdots ,X_n$ 是样本，$x_1,\cdots ,x_n$ 为样本观察值，事件 $(X_1=x_1,\cdots ,X_2=x_2)$ 发生的概率为：$$\prod _{i=1}^{n}P(x_i<X<x_i+\Delta x_i)\approx \prod _{i=1}^{n}f(x_i;\theta )\Delta x_i\Delta x_i\text{ 与 }\theta \text{ 无关}$$因此：
  • 似然函数：$L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$
  • 极大似然原理：$L\{\hat{\theta }(x_1,\cdots ,x_n)\}=\underset{\theta \in \Theta }{\max }L(\theta )$

3.3 极大似然估计求法的一般步骤

1. 建立似然函数：$L(\theta )={\prod }_{i=1}^{n}p(x_i;\theta )$
   • $P(X_1=x_1,\cdots ,X_n=x_n)=P(X_1=x_1)\cdots P(X_n=x_n)$
   • $f(x_1,x_2,\cdots ,x_n)=f(x_1)\cdots f(x_n)$
2. 对数似然函数：$\ln L(\theta )=\ln {\prod }_{i=1}^{n}p(x_i;\theta )={\sum }_{i=1}^n\ln p(x_i;\theta )$
3. 求极大值：$$\frac{\partial \ln \{L(\theta )\}}{\partial {\theta }_i}{|}_{\theta =\hat{\theta }}=0\{\theta =({\theta }_1,\cdots ,{\theta }_k)\text{ 未知参数不止一个}\}$$

• 若 $L(\theta )$ 关于某个参数 ${\theta }_i$ 是单调增（减）函数，则求导数无解，${\theta }_i$ 的极大似然估计为 ${\theta }_i$ 的最大（小）值（顺序统计量）。
• 若 $\hat{\theta }$ 是 $\theta$ 的极大似然估计，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的极大似然估计。

3.4 例题

例2： 总体 $X\sim B(1,p)$，$X_1,\cdots ,X_n$ 是样本，求 $p$ 的极大似然估计量。

---

解： $$P(X=k)=p^k(1-p{)}^{1-k},k=0,1$$似然函数：$$L(p)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}=p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}$$对数似然函数：$$\ln L(p)=\sum _{i=1}^n{x}_i\ln p+(n-\sum _{i=1}^n{x}_i)\ln (1-p)$$ $$\frac{d\ln \{L(p)\}}{dp}=\frac{1}{\hat{p}}\sum _{i=1}^n{x}_i-\frac{1}{1-\hat{p}}(n-\sum _{i=1}^n{x}_i)=0$$解得：
$${\hat{p}}_{\text{极大}}=\bar{X}=\frac{n_A}{n}$$此外：${\hat{p}}_{\text{矩}}=\bar{X}$

例6： 总体 $X\sim \left[\begin{array}{ccc}1& 2& 3\\ {\theta }^2& 2\theta (1-\theta )& (1-\theta {)}^2\end{array}\right]$，抽得样本值为 $(1,2,1)$，求 $\theta$ 的极大似然估计值。

---

解：
$$\begin{array}{rl}L(\theta )& =P(X_1=1,X_2=2,X_3=1)\\ & =P(X_1=1)P(X_2=2)P(X_3=1)\\ & ={\theta }^{2}2\theta (1-\theta ){\theta }^2\\ & =2{\theta }^5-2{\theta }^6\end{array}$$令
$$\frac{d\ln \{L(\theta )\}}{d\theta }=10{\hat{\theta }}^4-12{\hat{\theta }}^5=0$$解得
$$\hat{\theta }=\frac{5}{6}$$

例7： 总体 $X\sim E(\lambda )$，$X_1,\cdots ,X_n$ 是样本，求 $\lambda$ 的极大似然估计和矩估计量。

---

解：
（1） 矩估计
\qquad $EX=1/\lambda$
\qquad 令 ${\bar{X}}_n=EX$
\qquad 解得：${\hat{\lambda }}_{\text{矩}}=1/\bar{X}$
（2） 极大似然估计
$$L(\lambda )=\prod _{i=1}^n\lambda e^{-\lambda x_i}={\lambda }^n{e}^{-\lambda {\sum }_{i=1}^n{x}_i}$$ $$\ln L(\lambda )=n\ln \lambda -\lambda \sum _{i=1}^n{x}_i$$令$$\frac{d\ln L(\lambda )}{d\lambda }=\frac{n}{\hat{\lambda }}\sum _{i=1}^n{x}_i=0$$解得$${\hat{\lambda }}_{\text{极大}}=\frac{1}{\bar{X}}$$

• 若 $\hat{\theta }$ 是 $\theta$ 的极大似然估计，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的极大似然估计。

例8： 总体 $X\sim N(\mu ,{\sigma }^2)$，$X_1,\cdots ,X_n$ 是样本，求 $\mu ,\sigma$ 的极大似然估计量。

---

解：$$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(\sqrt{2\pi }{)}^{-n}({\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}$$ $$\ln L(\mu ,{\sigma }^2)=-n\ln \sqrt{2\pi }-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$ $$\{\begin{array}{l}\frac{\partial \{\ln L(\mu ,{\sigma }^2)\}}{\partial \mu }=\frac{2}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\hat{\mu }{)}^2=0\Rightarrow {\sum }_{i=1}^n{x}_i-n\hat{\mu }=0\\ \frac{\partial \{\ln L(\mu ,{\sigma }^2)\}}{\partial {\sigma }^2}=-\frac{n}{2{\hat{\sigma }}^2}+\frac{1}{2{\hat{\sigma }}^4}{\sum }_{i=1}^n(x_i-\mu {)}^2=0\end{array}$$解得：$$\{\begin{array}{l}{\hat{\mu }}_{\text{极大}}=\bar{X}\\ {\hat{\sigma }}_{\text{极大}}^2=B_2\end{array}$$故$${\hat{\sigma }}_{极大}=\sqrt{{\hat{\sigma }}^2}=\sqrt{B_2}$$

• 若 $L(\theta )$ 关于某个参数 ${\theta }_i$ 是单调增（减）函数，则求导数无解，${\theta }_i$ 的极大似然估计为 ${\theta }_i$ 的最大（小）值（顺序统计量）。

例10： 总体 $X\sim U(a,b)$，$X_1,\cdots ,X_n$ 是样本，
（1）求 $a,b$ 的极大似然估计量。
（2）求 $EX$ 的极大似然估计量。
（3）若已获得 $n=5$ 的样本值：$0.31,0.42,0.61,0.83,0.02$，求 $a,b,EX$ 的极大似然估计值。

---

解：（1）
$$L(a,b)=\prod _{i=1}^n\frac{1}{b-a}=(b-a{)}^{-n}$$令$$\frac{\partial L(a,b)}{\partial a}=0;\frac{\partial L(a,b)}{\partial b}=0$$此时，我们发现这样的方程组无解或者参数消失。
极大似然估计的原理是似然函数取最大值：
本题中，若要 $L(a,b)$ 取极大值，则 $b-a$ 要取极小值。由于：$$a\le (X_1,X_2,\cdots ,X_n)\le b\Rightarrow a\le X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}\le b$$故$${\hat{a}}_{\text{极大}}=X_{(1)},{\hat{b}}_{\text{极大}}=X_{(n)}$$（2）
由于 $$EX=\frac{a+b}{2}$$故
$$\widehat{E(X)}=\frac{\hat{a}+\hat{b}}{2}=\frac{X_{(1)}+X_{(2)}}{2}$$（3）
$$\{\begin{array}{l}\hat{a}=x_{(1)}=0.02\\ \hat{b}=x_{(5)}=0.83\\ \widehat{E(X)}=\frac{x_{(1)}+x_{(5)}}{2}=\frac{0.02+0.83}{2}=0.425\end{array}$$

下一篇：【数理统计】学习笔记04：点估计的优良性及其评选标准