宋浩概率论与数理统计笔记——第七章

7.1.1 矩估计法

总体的矩 ${\leftarrow }^{代替}$ 样本的矩

一阶$EX$ ${\leftarrow }^{代替}$ 一阶 $\bar{X}=\frac{1}{n}\sum x_i$

二阶$E{X}^2$ ${\leftarrow }^{代替}$ 二阶 $A_2=\frac{1}{n}\sum x_i^2$

例：$X\sim N(\mu ,{\sigma }^2),(X_1,...,X_n)是样本，求\mu ,{\sigma }^2的矩估计$

$$\begin{gathered} EX=\mu ,\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{x}_i \\ 总体的一阶矩EX，\bar{X}样本的一阶矩，用样本的代替总体的即： \\ \hat{\mu }=\bar{X} \end{gathered}$$

$$\begin{gathered} E(X^2)=D(X)+(EX{)}^2={\sigma }^2+{\mu }^2, \\ {A}_2=\frac{1}{n}{\sum }_{i=1}^n{x}_i^2 \\ {\hat{\sigma }}^2=A_2-{\hat{\mu }}^2=\frac{1}{n}{\sum }_{i=1}^n{x}_i^2-{\bar{X}}^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2=B_2 \end{gathered}$$

无论总体是什么分布，总体均值和总体方差都可以用样本均值和二阶中心矩来估计

例：$X\sim P(\lambda ),(X_1,...,X_n)是样本,求\lambda 的矩估计$

$EX=\lambda ,\hat{\lambda }=\bar{X}$一阶

$\hat{\lambda }=B_2$二阶

例：$X$是$[{\theta }_1,{\theta }_2]$的均匀分布,$(X_1,...,X_n)$为样本,求${\theta }_1、{\theta }_2$的矩估计

$EX=\bar{X}=\frac{1}{2}({\theta }_1+{\theta }_2)$一阶

$$\begin{gathered} DX=\frac{1}{12}({\theta }_2-{\theta }_1{)}^2 \\ DX=E{X}^2-(EX{)}^2 \\ E{X}^2=\frac{1}{12}({\theta }_2-{\theta }_1{)}^2+\frac{1}{4}({\theta }_1+{\theta }_2{)}^2=A_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2 \end{gathered}$$

$$\begin{gathered} {\hat{\theta }}_1=\bar{X}-\sqrt{3B_2} \\ {\hat{\theta }}_2=\bar{X}+\sqrt{3B_2} \end{gathered}$$

例：

总体:

X	1	2	3
P	${\theta }^2$	$2\theta (1-\theta )$	$(1-\theta {)}^2$

样本{1,2,1}

估计$\theta$

$EX=1\times {\theta }^2+2\times 2\theta (1-\theta )+3\times (1-\theta {)}^2$

$\bar{X}=\frac{1+2+1}{3}=\frac{4}{3}$

$1\times {\theta }^2+2\times 2\theta (1-\theta )+3\times (1-\theta {)}^2=\frac{4}{3}$

$\hat{\theta }=\frac{5}{6}$

7.1.2极大似然估计

100个球，黑99，白1，摸到黑的概率0.99，白0.01

100个球，黑球数量=99个或1个，白球数量=1个或99个（总体未知）

只摸一次，摸了一个黑球，黑球数量更可能是99个

学生掌握知识8:2，会：不会8:2 或者 会：不会2:8，提问3个问题，都不会，会：不会是2：8的概率更大

概率大的事件比概率小的事件更容易发生

将使事件A发生的概率最大的参数值作为估计值

模板：

1.总体的概率/密度函数

2.写似然函数$L(\lambda )$

3.两边取$\log$

4.两边求导(偏导)，令导数等于0

---

例：总体$X\sim P(\lambda )$，$X_1,X_2,...,X_n$是样本，求$\lambda$的极大似然估计

总体的概率函数为：$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }(k=0,1,2,...)$

则$\lambda$的似然函数为：

​ $L(\lambda )={\prod }_{i=1}^n\frac{{\lambda }^{X_i}}{X_i!}{e}^{-\lambda }=\frac{{\lambda }^{X_1+...+X_n}}{{\prod }_{i=1}^n{x}_i!}{e}^{-n\lambda }$

两边取$\ln$

​ $\ln L(\lambda )=-\ln {\prod }_{i=1}^n{X}_i!+(X_1+...+X_n)\ln \lambda -n\lambda$

两边对$\lambda$求导

​ $\frac{d\ln \lambda }{d\lambda }=\frac{X_1+...+X_n}{\lambda }-n=0$

​ $\hat{\lambda }=\frac{X_1+...X_n}{n}=\bar{X}$←样本的均值

---

例：总体是$\lambda$的指数分布，$X_1,X_2,...,X_n$是样本，求$\lambda$的极大似然估计

总体的密度函数为：$f(x;\lambda )=\{\begin{array}{rc}\lambda e^{-\lambda x}& x>0\\ 0& x\le 0\end{array}$

则$\lambda$的似然函数为：

​ $L(\lambda )={\prod }_{i=1}^n\lambda e^{-\lambda x_i}={\lambda }^n{e}^{(x_1+...+x_n)}$

两边取$\ln$:

​ $\ln L(\lambda )=n\ln \lambda -\lambda (x_1+...+x_n)$

两边对$\lambda$求导：

​ $\frac{d\ln L(\lambda )}{d\lambda }=\frac{n}{\lambda }-(x_1+...x_n)=0$

​ $\hat{\lambda }=\frac{n}{x_1+...x_n}=\frac{1}{\bar{X}}$

---

例：总体是$X\sim N(\mu ,{\sigma }^2)$，$x_1,x_2,...,x_n$是样本，求$\mu ,{\sigma }^2$的极大似然估计

总体的密度函数为：$f(x;\mu ,{\sigma }^2)=\{\begin{array}{rc}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}& x>0\\ 0& x\le 0\end{array}$

则$\lambda$的似然函数为：

​ $L(\lambda )={\prod }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}=(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-\frac{(x_1-\mu {)}^2+...+(x_n-\mu {)}^2}{2{\sigma }^2}}$

两边取$\ln$:

​ $\ln L(\lambda )=n\ln \frac{1}{\sqrt{2\pi }}-\frac{n}{2}\ln {\sigma }^2-\frac{(x_1-\mu {)}^2+...+(x_n-\mu {)}^2}{2{\sigma }^2}$

两边对$\lambda$求导：

​ $\frac{d\ln L(\lambda )}{d\lambda }=\frac{n}{\lambda }-(x_1+...x_n)=0$

​ $\lambda =\frac{n}{x_1+...x_n}=\frac{1}{\bar{X}}$

对$\mu$求偏导：

​ KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲\ln L(\mu,\sigm…

​ $\hat{\mu }=\frac{x_1+...+x_n}{n}=\bar{x}$

对${\sigma }^2$求偏导：

​ KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲\ln L(\mu,\sigm…

​ ${\hat{\sigma }}^2=\frac{(x_1-\mu {)}^2+...+(x_n-\mu {)}^2}{n}=B_2$

---

例：$X\sim U[{\theta }_1,{\theta }_2]，$$x_1,x_2,...,x_n$是样本，求${\theta }_1,{\theta }_2$的极大似然估计

均匀分布的密度函数：$f(x)=\{\begin{array}{rc}\frac{1}{{\theta }_2-{\theta }_1}& x\in [{\theta }_1,{\theta }_2]\\ 0& else\end{array}$

则似然函数为

​ $L({\theta }_1,{\theta }_2)={\prod }_{i=1}^n\frac{1}{{\theta }_2-{\theta }_1}=\frac{1}{({\theta }_2-{\theta }_1{)}^n}$

要求$L({\theta }_1,{\theta }_2)$的最大值，就要使${\theta }_2-{\theta }_1$最小，即${\theta }_1,{\theta }_2$的值越近越好。因此$$\begin{gathered} {\hat{\theta }}_1=\min \{X_1,...,X_n\} \\ {\hat{\theta }}_2=\max \{X_1,...,X_n\} \end{gathered}$$

7.2 点估计的优良性准则

无偏性: $\hat{E}\theta =\theta$

(1)总体$X$,$EX=\mu ,DX={\sigma }^2,(X_1,...,X_n)$为样本

①$\bar{X}$是$\mu$的无偏估计,$E\bar{X}=\mu$

②样本方差$S^2$是${\sigma }^2$的无偏估计,$E{S}^2={\sigma }^2$

$S^2=\frac{1}{n-1}[(X_1-\bar{X}{)}^2+...+(X_n-\bar{X}{)}^2]$

当$n\to \infty$时，$S^2$与$S_0^2$是${\sigma }^2$的渐进无偏估计

③未修正的样本方差$S_0^2$是${\sigma }^2$的有偏估计

$S_0^2=\frac{1}{n}[(X_1-\bar{X}{)}^2+...+(X_n-\bar{X}{)}^2]$

上面三个结论与总体分布无关，永远成立

$\hat{\theta }$是$\theta$的无偏估计，$g(\hat{\theta })$不一定是$g(\theta )$的无偏估计

$S^2$是${\sigma }^2$的无偏估计，$S$不一定是$\sigma$的无偏估计

上面↑例：函数为开根号

$\because DX=E{X}^2-(EX{)}^2$

$$\begin{gathered} \therefore DS=E{S}^2-(ES{)}^2={\sigma }^2-(ES{)}^2 \\ ES=\sqrt{{\sigma }^2-DS}\le \sigma \end{gathered}$$

(2)$\mu =EX,(X_1,...,X_n)$为样本

令$\hat{\mu }=C_1{X}_1+...+C_n{X}_n$

$C_1+...+C_n=1$

$E\hat{\mu }=C_1\mu +...+C_n\mu =\mu$

则$E\hat{\mu }=\mu$无偏，但$C_1,...,C_n$的不固定，导致$\mu$的改变，故无偏性有局限

有效性:$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$,方差越小越有效

例：

总体$X$,$EX=\mu ,DX={\sigma }^2,\mu =\{\begin{array}{rcl}{X}_1& E{X}_1=\mu & D{X}_1={\sigma }^2\\ \bar{X}& & D\bar{X}=\frac{{\sigma }^2}{n}\end{array}$

$$\begin{gathered} \because D\bar{X}\le D{X}_1 \\ \therefore \bar{X}更有效 \end{gathered}$$

例：

$\{\begin{array}{rc}{a}_1{X}_1+...+a_n{X}_n& a_1+...+a_n=1\\ \bar{X}& \end{array}$

$D\bar{X}=\frac{{\sigma }^2}{n}$

$D\hat{\theta }=a_1^{2}D{X}_1+...+a_n^{2}D{X}_n={\sigma }^2(a_1^2+...+a_n^2)\ge \frac{{\sigma }^2}{n}$

即需要证明$a_1^2+...+a_n^2\ge \frac{1}{n}$

$ 1 = (a_1+…+a_n)^2 …\leq n(a_1^2+…+a_n2)$

柯西不等式↑↓

小例子:$$\begin{gathered} (a_1+a_2+a_3{)}^2 \\ =a_1^2+a_2^2+a_3^2+2a_1{a}_2+2a_1{a}_3+2a_2{a}_3 \\ \le a_1^2+a_2^2+a_3^2+a_1^2+a_2^2+a_1^2+a_3^2+a_2^2+a_3^2 \\ =3(a_1^2+a_2^2+a_3^2) \end{gathered}$$

相合性（一致性）:${\lim }_{n\to \infty }P(|\hat{\theta }-\theta |<ϵ)=1$

7.3.1 置信区间

区间估计

$P({\hat{\theta }}_1\le \theta \le {\hat{\theta }}_2)=1-\alpha$

区间$[{\hat{\theta }}_1,{\hat{\theta }}_2]$,$1-\alpha$是置信度

置信度是$[{\hat{\theta }}_1,{\hat{\theta }}_2]$能套住$\theta$的概率

枢轴变量

定义：$I=I(T,\theta ),\theta 是未知的,T是已知的,I的分布F必须是已知的且与\theta 无关$

给定$1-\alpha$,确定F的上$\frac{\alpha }{2}$分位数,上$(1-\frac{\alpha }{2})$分位数$\to U_{1-\frac{\alpha }{2}}$

$P(U_{1-\frac{\alpha }{2}}\le I(T,\theta )\le U_{\frac{\alpha }{2}})=1-\alpha$

7.3.2 一个正态总体的期望和方差的区间估计

①${\sigma }^2$已知，估计$\mu$

枢轴变量$U=\frac{\sqrt{n}(\bar{x}-\mu )}{\sigma }\sim N(0,1)$

$n为样本个数,\bar{x}是样本均值$

给定$1-\alpha$，令$P(U>U_{\frac{\alpha }{2}})=\frac{\alpha }{2},{\Phi }_0(U_{\frac{\alpha }{2}})=1-\frac{\alpha }{2}$

$$\begin{gathered} P(-U_{\frac{\alpha }{2}}\le \frac{\sqrt{n}(\bar{x}-\mu )}{\sigma }\le U_{\frac{\alpha }{2}})=1-\alpha \\ \bar{x}-\frac{\sigma U_{\frac{\alpha }{2}}}{\sqrt{n}}\le \mu \le \bar{x}+\frac{\sigma U_{\frac{\alpha }{2}}}{\sqrt{n}} \end{gathered}$$

例：5个灯泡,1650,1700,1680,1820,1800,$X\sim N(\mu ,9)$,$\alpha =0.05$

$n=5,\bar{X}=1730,{\sigma }^2=9,\sigma =3$

$U_{0.025}=1.96$←查表

$-1.96\le \frac{\sqrt{n}(\bar{x}-\mu )}{\sigma }\le 1.96$

$-1732.63\le \mu \le 1732.63$

②${\sigma }^2$未知,估计$\mu$

$T=\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1),S为样本标准差$

$-t_{\frac{\alpha }{2}}(n-1)\le \frac{\sqrt{n}(\bar{X}-\mu )}{S}\le t_{\frac{\alpha }{2}}(n-1)$

$\bar{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\le \mu \le \bar{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)$

方差的区间估计

①$\mu$已知，对${\sigma }^2$的区间估计

$\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$

${\chi }_{1-\frac{\alpha }{2}}^2(n)\le \frac{1}{{\sigma }^2}{\sum }_{i=1}^n(X_i-\mu {)}^2\le {\chi }_{\frac{\alpha }{2}}^2(n)$

$\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)}\le {\sigma }^2\le \frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}$

②$\mu$未知，估计${\sigma }^2$

${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)，给定1-\alpha$

$\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}\le {\sigma }^2\le \frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}$

估计		分布	区间估计
$\mu$	${\sigma }^2$已知	$\frac{\sqrt{n}(\bar{x}-\mu )}{\sigma }\sim N(0,1)$	$\bar{x}-\frac{\sigma U_{\frac{\alpha }{2}}}{\sqrt{n}}\le \mu \le \bar{x}+\frac{\sigma U_{\frac{\alpha }{2}}}{\sqrt{n}}$
$\mu$	${\sigma }^2$未知	$\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$	$\bar{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\le \mu \le \bar{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)$
${\sigma }^2$	$\mu$已知	$\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$	$\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)}\le {\sigma }^2\le \frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}$
${\sigma }^2$	$\mu$未知	${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$	$\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}\le {\sigma }^2\le \frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}$