【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

原文地址：【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

矩估计

$$\begin{array}{rl}E{X}^l& ={\mu }_l,l=1,2,...\\ A_l& =\frac{1}{n}\sum _{i=1}^n{X}_i^l\\ make{\mu }_l& =A_l\end{array}$$

例如，当只有一个参数时，$l$取1，则$EX=\bar{X}$

解题步骤：

1. 用$E{X}^l$找到参数与${\mu }_l$的关系；
2. 带入${\mu }_l=A_l$，用样本表示参数；
3. 解方程（组）得到参数的矩估计值。

极大似然估计

似然函数($\theta$为待求参数)

• 离散型

$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$

• 连续型

$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

解题步骤：

1. 先求密度函数（连续型），或者分布律（离散型）【针对题目中只给分布函数的题型】
2. 构造似然函数【必须是样本$x_1,x_2,\cdots ,x_n$的函数，而不是$X_1,X_2,\cdots ,X_n$的函数】
3. 对似然函数取对数【视情况而定，如果似然函数复杂，则取对数】
4. 【取对数后的似然函数或者原似然函数】对参数求导（只含有一个参数）或分别对参数求偏导（含有多个参数）
5. 令导数值为零，求解参数值。【如果有解，则这个值就是极大似然估计值；如果没有解，则判断导数值正负情况，以推断似然函数的单调性，从而根据单调性取得参数的极大似然估计值使似然函数最大】

估计量评选标准

无偏性

如果$\hat{\theta }$满足：
$$E(\hat{\theta })=\theta$$
则称$\hat{\theta }$是$\theta$的无偏估计。

1. $\bar{X}$是$\mu$的无偏估计
2. $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2$是${\sigma }^2$的无偏估计
3. $\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2$是${\sigma }^2$的无偏估计
4. $E(\bar{X})=EX$
5. $E(S^2)=DX$

一致性

$\hat{\theta }\stackrel{P}{}\theta$

有效性

$\widehat{{\theta }_1}$和$\widehat{{\theta }_2}$都是$\theta$的无偏估计量，若$D\widehat{{\theta }_1}<D\widehat{{\theta }_2}$，则称$\widehat{{\theta }_1}$比$\widehat{{\theta }_2}$有效。

优效估计量（有效估计量）

当估计量$\hat{\theta }$的方差$D\hat{\theta }$达到罗—克拉美下界：

$$D\hat{\theta }\ge I_R=\frac{1}{nI(\theta )},I(\theta )=-E[\frac{{\partial }^2\ln p(x;\theta )}{\partial {\theta }^2}]$$

有效率：$e(\hat{\theta })=\frac{I_R}{D\hat{\theta }}$

常见分布的参数矩估计和极大似然估计

分布名称	参数	矩估计	极大似然估计
0-1分布	$p$	${\hat{p}}_M=\bar{X}$	${\hat{p}}_L=\bar{X}$
二项分布	$p$	${\hat{p}}_M=\frac{\bar{X}}{n}$	${\hat{p}}_L=\frac{\bar{X}}{n}$
泊松分布	$\lambda$	${\hat{\lambda }}_M=\bar{X}$	${\hat{\lambda }}_L=\bar{X}$
几何分布	$p$	${\hat{p}}_M=\frac{1}{\bar{X}}$	${\hat{p}}_L=\frac{1}{\bar{X}}$
均匀分布	$a,b$	${\hat{a}}_M=\bar{X}-\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2},{\hat{b}}_M=\bar{X}+\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2}$	${\hat{a}}_L=X_{(1)},{\hat{b}}_L=X_{(n)}$
指数分布	$\lambda$	${\hat{\lambda }}_M=\frac{1}{\bar{X}}$	${\hat{\lambda }}_L=\frac{1}{\bar{X}}$
正态分布	$\mu ,{\sigma }^2$	${\hat{\mu }}_M=\bar{X},{\widehat{{\sigma }^2}}_M=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$	${\hat{\mu }}_L=\bar{X},{\widehat{{\sigma }^2}}_L=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$

区间估计

置信概率、置信度、置信水平 $1-\alpha$ $P\{\underline{\theta }\le \theta \le \bar{\theta }\}=1-\alpha$,$\theta$置信度为$1-\alpha$的置信区间$(\underline{\theta },\bar{\theta })$。

常用统计量：

1. $Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1),P\{|Z|>Z_{\frac{\alpha }{2}}\}=\alpha$

2. $T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1),P\{|T|>t_{\frac{\alpha }{2}}(n-1)\}=\alpha$

3. ${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1),P(\{{\chi }^2<{\chi }_{1-\frac{\alpha }{2}}^2(n-1)\}\cup \{{\chi }^2>{\chi }_{\frac{\alpha }{2}}^2(n-1)\})=\alpha$

4. $F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1),P(\{F<F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)\}\cup \{F>F_{\frac{\alpha }{2}}(n_1-1,n_2-1)\})=\alpha$

正态总体均值的区间估计

单个正态总体$X_1,X_2,\cdots ,X_n,X\sim N(\mu ,{\sigma }^2)$，求$\mu$置信度$1-\alpha$的置信区间$(\underline{\theta },\bar{\theta })$。

1. 方差已知 ${\sigma }^2={\sigma }_0^2$，估计均值

   构造统计量：$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$

   $P\{-Z_{\frac{\alpha }{2}}<\frac{\bar{X}-\mu }{{\sigma }_0/\sqrt{n}}<Z_{\frac{\alpha }{2}}\}=1-\alpha$

   推得：$[\bar{X}\pm Z_{\frac{\alpha }{2}}\frac{{\sigma }_0}{\sqrt{n}}]$

2. 方差未知，估计均值，用$S^2$代替${\sigma }^2$

   构造统计量：$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

   $P\{-t_{\frac{\alpha }{2}}(n-1)<\frac{\bar{X}-\mu }{S/\sqrt{n}}<t_{\frac{\alpha }{2}}(n-1)\}=1-\alpha$

   推得：$[\bar{X}\pm t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}]$

   当$n>50$时，$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim N(0,1)$(近似)，则区间估计为$[\bar{X}\pm Z_{\frac{\alpha }{2}}\frac{S}{\sqrt{n}}]$

两个正态总体均值差${\mu }_1-{\mu }_2$的置信区间

1. 方差已知，${\sigma }_1^2,{\sigma }_2^2$

   构造统计量：$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}}+\frac{{\sigma }_2^2}{n_2}}\sim N(0,1)$

   推得：$[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$

2. 方差未知，用$S_1^2,S_2^2$代替${\sigma }_1^2,{\sigma }_2^2$

   构造统计量：$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}},S_w=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1S_2^2)}{n_1+n_2-2}}$

   推得：$[\bar{X}-\bar{Y}\pm t_{\frac{\alpha }{2}}(n_1+n_2-2)]S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$

大子样对两正态总体均值差的区间估计

方差已知，$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}}+\frac{{\sigma }_2^2}{n_2}}\sim N(0,1)$【大子样近似】

推得： $[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$

方差未知，用$S_1^2,S_2^2$代替${\sigma }_1^2,{\sigma }_2^2$，当$n_1,n_2$都很大时，$\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim N(0,1)$ 【大子样近似】

推得： $[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}]$

正态总体方差的区间估计

单个正态总体

1. $\mu$已知

   构造统计量：${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)$

   $P\{{\chi }_{1-\frac{\alpha }{2}}^2(n)\le \frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\le {\chi }_{\frac{\alpha }{2}(n)}^2\}=1-\alpha$

   推得： $[\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}]$

2. $\mu$未知

   构造统计量：$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

   $P\{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)\le \frac{(n-1)S^2}{{\sigma }^2}\le {\chi }_{\frac{\alpha }{2}(n-1)}^2\}=1-\alpha$

   推得： $[\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}]$

两个正态总体方差比$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的区间估计

构造统计量：$F=\frac{{\sigma }_1^2/{\sigma }_2^2}{S_1^2/S_2^2}\sim F(n_2-1,n_1-1)$

$P\{F_{1-\frac{\alpha }{2}}(n_2-1,n_1-1)\le \frac{{\sigma }_1^2/{\sigma }_2^2}{S_1^2/S_2^2}\le F_{\frac{\alpha }{2}}(n_2-1,n_1-1)\}=1-\alpha$

推得：$[\frac{S{1}^2}{S_2^2}{F}_{1-\frac{\alpha }{2}}(n_2-1,n_1-1),\frac{S{1}^2}{S_2^2}{F}_{\frac{\alpha }{2}}(n_2-1,n_1-1)]=[\frac{S{1}^2}{S_2^2}\frac{1}{F_{\frac{\alpha }{2}}(n_1-1,n_2-1)},\frac{S{1}^2}{S_2^2}{F}_{\frac{\alpha }{2}}(n_2-1,n_1-1)]$

单侧置信区间

$$\begin{array}{r}P\{\theta \ge \widehat{{\theta }_1}\}=1-\alpha ,[{\hat{\theta }}_1,+\infty )\\ P\{\theta \le \widehat{{\theta }_2}\}=1-\alpha ,(-\infty ,\widehat{{\theta }_2}]\end{array}$$

单侧置信区间在统计量的构造上与双侧的一致，在求区间时$\frac{\alpha }{2}$换成$\alpha$。