宋浩概率论与数理统计-第七章-笔记

第七章

7.1 点估计

估计：已知分布，提取样本，构造函数估计参数的值（$\hat{\theta }=\hat{\theta }(X_1,\cdots ,X_n)$）
参数空间：参数的取值范围

7.1.1 矩估计法

总体思想：用样本的矩代替总体的矩

总体的矩 $⟵$ 样本的矩
一阶 $EX⟵$ 一阶 $\overline{X}=\frac{1}{n}\sum X_i$
二阶 $E{X}^2⟵$ 二阶 $A_2=\frac{1}{n}\sum X_i^2$

例题
【例1】$X\sim N(\mu ,{\sigma }^2)$，$(X_1,\cdots ,X_n)$是样本，用矩估计法估计$\mu ,{\sigma }^2$
解：
总体一阶矩：$EX=\mu$
样本一阶矩：$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
$\hat{\mu }=\overline{X}$

总体二阶矩：$E{X}^2=DX+(EX{)}^2={\sigma }^2+{\mu }^2$x
样本二阶矩：$A_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2$
${\hat{\sigma }}^2=A_2-{\hat{\mu }}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2=B_2$

【例2】$X\sim P(\lambda )$，$(X_1,\cdots ,X_n)$是样本，用矩估计法估计
解：
$EX=\lambda$
$\hat{\lambda }=\overline{X}$

$DX=\lambda$
$\hat{\lambda }=B_2$

【例3】$X$服从$[{\theta }_1,{\theta }_2]$上的均匀分布，$(X_1,\cdots ,X_n)$是样本，用矩估计法估计
解：
$EX=\frac{1}{2}({\theta }_1,{\theta }_2)=\overline{X}$
$E{X}^2=DX+(EX{)}^2=\frac{({\theta }_1-{\theta }_2{)}^2}{12}+\frac{({\theta }_1+{\theta }_2{)}^2}{4}=A_2$

解上述方程得：
$\widehat{{\theta }_1}=\overline{X}-\sqrt{3B_2},\widehat{{\theta }_2}=\overline{X}+\sqrt{3B_2}$

【例4】$X$满足：
$\begin{array}{cccc}X& 1& 2& 3\\ P& {\theta }^2& 2\theta (1-\theta )& (1-\theta {)}^2\end{array}$
取样本$\{1,2,1\}$，求矩估计
解：
$EX=1\times \theta +2\times 2\theta (1-\theta )+3\times (1-\theta {)}^2$
$\overline{X}=\frac{1+2+1}{3}=\frac{4}{3}$
$\hat{\theta }=\frac{5}{6}$

矩估计：简单易行，在使用时并不需要事先知道总体的分布。但是矩估计没有充分利用总体所提供的信息，因此矩估计不一定时理想的估计，另外，矩估计也有不唯一性。矩估计应用的前提时总体的矩存在。

7.1.2 极大似然估计法

举例：
$100$个球，黑色$99$个，白色$1$个$⟹$摸到黑球的概率为$0.99$，摸到白球的概率为$0.01$
$100$个球，黑球个数$\theta =99或1$，白球个数$=99或1$，任意摸出一个是黑球$⟹\theta$很可能为$99$

$P$大的事件比$P$小的事件更容易发生

将使得$A$发生的概率最大的参数值作为估计值

【解题模板】：

1. 总体的概率函数（离散型）或密度函数（连续型）
2. 写似然函数$L(\lambda )$
3. 两边取$\ln$：$\ln L(\lambda )$
4. 对$\lambda$求（偏）导，令偏导数=0

例题
【例2】总体$X\sim P(\lambda )$，$(X_1,X_2,\cdots ,X_n)$为样本，求$\lambda$的极大似然估计
解：
总体的概率函数为：$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }(k=0,1,2,\cdots )$

则$\lambda$的似然函数为：$L(\lambda )=\prod _{i=1}^n\frac{{\lambda }^{x_i}}{x_i!}{e}^{-\lambda }=\frac{{\lambda }^{x_1+x_2+\cdots +x_n}}{\prod _{i=1}^n{x}_i!}{e}^{-n\lambda }$
（$x_i$：观测值，$\lambda$：未知数）
两边取$\ln$：$\ln L(\lambda )=-\ln \prod _{i=1}^n{x}_i!+(x_1+\cdots +x_n)\ln \lambda -n\lambda$

两边对$\lambda$求导：$\frac{d\ln L(\lambda )}{d\lambda }=\frac{x_1+\cdots +x_n}{\lambda }-n$

令$\frac{d\ln L(\lambda )}{d\lambda }=0$

$\lambda =\frac{x_1+\cdots +x_n}{n}=\overline{x}$

【例3】总体是参数为$\lambda$的指数分布，$(X_1,X_2,\cdots ,X_n)$为样本，求$\lambda$的极大似然估计
解：
总体的密度函数为：$f(x;\lambda )=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& x\le 0\end{array}$

则$\lambda$的似然函数为：$L(\lambda )=\prod _{i=1}^n\lambda e^{-\lambda x_i}={\lambda }^n{e}^{-\lambda (x_1+\cdots +x_n)}$
两边取$\ln$：$\ln L(\lambda )=n\ln \lambda -\lambda (x_1+\cdots +x_n)$

两边对$\lambda$求导：$\frac{d\ln L(\lambda )}{d\lambda }=\frac{n}{\lambda }-(x_1+\cdots +x_n)$

令$\frac{d\ln L(\lambda )}{d\lambda }=0$

$\lambda =\frac{n}{x_1+\cdots +x_n}=\frac{1}{\overline{x}}$

【例4】总体$X\sim N(\mu ,{\sigma }^2)$，$(X_1,X_2,\cdots ,X_n)$为样本，求$\mu ,{\sigma }^2$的极大似然估计
解：
总体的密度函数为：$f(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

则$\mu ,{\sigma }^2$的似然函数为：$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(\frac{1}{\sqrt{2\pi }}{)}^n(\frac{1}{\sigma }{)}^n{e}^{-\frac{(x_1-\mu {)}^2+(x_2-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{2{\sigma }^2}}$
两边取$\ln$：$\ln L(\mu ,{\sigma }^2)=n\ln \frac{1}{\sqrt{2\pi }}-\frac{n}{2}\ln {\sigma }^2-\frac{(x_1-\mu {)}^2+(x_2-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{2{\sigma }^2}$
（$(\frac{1}{\sigma }{)}^n=({\sigma }^2{)}^{-\frac{n}{2}}$）

两边对$\mu$求偏导：
$\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial \mu }=-\frac{-(2(x_i-\mu )+\cdots +2(x_i-\mu ))}{2{\sigma }^2}=\frac{x_1+\cdots +x_n-n\mu }{{\sigma }^2}$

令$\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial \mu }=0$

$\mu =\frac{x_1+\cdots +x_n}{n}=\overline{x}$

两边对${\sigma }^2$求偏导：
$\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial {\sigma }^2}=-\frac{n}{2}\frac{1}{{\sigma }^2}+\frac{(x_1-\mu {)}^2+(x_2-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{2{\sigma }^4}$

令$\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial {\sigma }^2}=0$

${\sigma }^2=\frac{(x_1-\mu {)}^2+(x_2-\mu {)}^2+\cdots +(x_n-\mu {)}^2}{n}=B_2$

【例4】总体$X\sim [{\theta }_1,{\theta }_2]$，$(X_1,\cdots ,X_2)$为样本，求${\theta }_1,{\theta }_2$的极大似然估计
解：
密度函数：$f(x)=\{\begin{array}{ll}\frac{1}{{\theta }_2-{\theta }_1}& x\in [{\theta }_1,{\theta }_2]\\ 0& else\end{array}$

似然函数：$L({\theta }_1,{\theta }_2)=\prod _{i=1}^n\frac{1}{{\theta }_2-{\theta }_1}=\frac{1}{({\theta }_2-{\theta }_1{)}^n}$

$L({\theta }_1,{\theta }_2)$取最大$⟹$${\theta }_1,{\theta }_2$尽量接近

${\theta }_1=\min \{x_1,x_2,\cdots ,x_n\}$
${\theta }_2=\max \{x_1,x_2,\cdots ,x_n\}$

7.2 点估计的优良性准则

【无偏性】：$E(\hat{\theta })=\theta$

1. （任何分布）总体$X$，$E(X)=\mu ,D(X)={\sigma }^2$，样本$(X_1,\cdots ,X_n)$

• $\overline{X}$是$\mu$的无偏估计
• 样本方差$s^2$是${\sigma }^2$的无偏估计

2. 若$\hat{\theta }$是$\theta$的无偏估计，则$g(\hat{\theta })$不一定是$g(\theta )$的无偏估计
   $s^2$是${\sigma }^2$的无偏估计，但$s$不是$\sigma$的无偏估计

3. $\mu =E(X)$，样本$(X_1,\cdots ,X_n)$，取$\hat{\mu }=C_1{X}_1+\cdots +C_n{X}_n$，其中$C_1+\cdots +C_n=1$，则$\hat{\mu }$是$\mu$的无偏估计

【有效性】：$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$

1. 总体$X$，$E(X)=\mu ,D(X)={\sigma }^2$，$\mu =\{\begin{array}{llcc}{X}_1& E(X_1)=\mu & D(X_1)={\sigma }^2& \\ \overline{X}& E(\overline{X})=\mu & D(\overline{X})={\sigma }^2/n& 更有效\end{array}$
2. 总体$X$，$E(X)=\mu ,D(X)={\sigma }^2$，$\mu =\{\begin{array}{llc}{a}_1{X}_1+\cdots +a_n{X}_n& D(a_1{X}_1+\cdots +a_n{X}_n)={\sigma }^2(a_1^2+\cdots +a_n^2)& \\ \overline{X}& D(\overline{X})={\sigma }^2/n& 更有效\end{array}$

【相合性（一致性）】：$\underset{n\to +\infty }{\lim }P(|\hat{\theta }-\theta |<ϵ)=1$

7.3

7.3.1 置信区间

区间估计：
$P({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)=1-\alpha$
（$1-\alpha$：置信度，$[{\hat{\theta }}_1,{\hat{\theta }}_2]$：区间）

做题：已知置信度，求${\hat{\theta }}_1,{\hat{\theta }}_2$，$\theta$为未知参数

置信度：$[{\hat{\theta }}_1,{\hat{\theta }}_2]$能套住$\theta$的概率（$\theta$是未知的、确定的）

枢轴变量：

1. 变量$I=I(T,\theta )$，$\theta$是未知的参数，$T$已知，$I$的分布$F$已知且与$\theta$无关，$I$称为枢轴变量
2. 给定$1-\alpha$，确定$F$的上$\frac{\alpha }{2}$分位数$v_{\frac{\alpha }{2}}$，上$1-\frac{\alpha }{2}$分位数$v_{1-\frac{\alpha }{2}}$，$P(v_{1-\frac{\alpha }{2}}\le I(T,\theta )\le v_{\frac{\alpha }{2}})=1-\alpha$

7.3.2 一个正态总体的均值和方差的区间估计

期望的区间估计

• ${\sigma }^2$已知，估计$\mu$（即$\mu$为未知参数）
  构造枢轴变量$U=\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\sim N(0,1)$
  （$\sigma ,n,\overline{X}$已知，$\mu$未知）
  给定$1-\alpha$，令$P(U>u_{\frac{\alpha }{2}})=\frac{\alpha }{2},{\Phi }_0(u_{\frac{\alpha }{2}})=1-\frac{\alpha }{2}$
  $P(-u_{\frac{\alpha }{2}}\le \frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\le u_{\frac{\alpha }{2}})=1-\alpha$
  $P(\overline{X}-\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}}\le u\le \overline{X}+\frac{\sigma u_{\frac{\alpha }{2}}}{\sqrt{n}})=1-\alpha$

例题
【例1】5个灯泡，样本数据：1650，1700，1680，1820，1800，$X\sim N(\mu ,9)$，$\alpha =0.05$

解：
$n=5$
$\overline{X}=\frac{1650+1700+1680+1820+1800}{5}=1730$
${\sigma }^2=9\Rightarrow \sigma =3$

查表$u_{0.975}=1.96$

$-1.96\le \frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\le 1.96$
$-1.96\le \frac{\sqrt{5}(1730-\mu )}{3}\le 1.96$
$1727.37\le \mu \le 1732.63$

• ${\sigma }^2$未知（不可用），估计$\mu$
  构造枢轴变量$T=\frac{\sqrt{n}(\overline{X}-\mu )}{s}\sim t(n-1)$
  （$s$为样本标准差）

给定$1-\alpha$，上$\frac{\alpha }{2}$分位数$t_{\frac{\alpha }{2}}(n-1)$，
$P(-t_{\frac{\alpha }{2}}(n-1)\le \frac{\sqrt{n}(\overline{X}-\mu )}{s}\le t_{\frac{\alpha }{2}}(n-1))=1-\alpha$

$\overline{X}-\frac{s}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\le \mu \le \overline{X}+\frac{s}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)$

方差的区间估计

1. $\mu$已知，对${\sigma }^2$区间估计
   ${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2$
   给定$1-\alpha$，${\chi }_{1-\frac{\alpha }{2}}^2(n),{\chi }_{\frac{\alpha }{2}}^2(n)$
   ${\chi }_{1-\frac{\alpha }{2}}^2(n)\le \frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\le {\chi }_{\frac{\alpha }{2}}^2(n)$
   $\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)}\le {\sigma }^2\le \frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}$

2. $\mu$未知，估计${\sigma }^2$
   ${\chi }^2=\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
   给定$1-\alpha$，${\chi }_{1-\frac{\alpha }{2}}^2(n-1),{\chi }_{\frac{\alpha }{2}}^2(n-1)$
   置信区间：$[\frac{(n-1)s^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}]$

总结