概率论与数理统计C复习笔记（下）

统计学三大分布

1. 卡方分布

$$\begin{gathered} X_1,\cdots ,X_n\text{i.i.d.},\sim N(0,1) \\ Y=\sum _{i=1}^n{X}_i^2 \end{gathered}$$$Y$服从自由度为$n$的卡方分布:$$Y\sim {\chi }^2(n)$$重要性质:$$\boxed{X_1\sim {\chi }^2(m),X_2\sim {\chi }^2(n),X_1,X_2独立\Rightarrow X_1+X_2\sim {\chi }^2(m+n)}$$$$X_1,\cdots ,X_n\text{i.i.d.},\sim E(\lambda )\Rightarrow 2\lambda \sum _{i=1}^n{X}_i\sim {\chi }^2(2n)$$

2. $t$分布

$$X_1\sim {\chi }^2(n),X_2\sim N(0,1),X_1,X_2独立$$$$Y=\frac{X_2}{\sqrt{\frac{1}{n}{X}_1}}$$$Y$服从自由度为$n$的$t$分布:$$Y\sim t(n)$$重要性质:$$\boxed{当n\to \infty 时,t分布t(n)收敛于标准正态分布N(0,1).一般认为当n>30(一说n>45)时,有Y=\frac{X_2}{\sqrt{\frac{1}{n}{X}_1}}\stackrel{近似}{\sim }N(0,1).}$$

3. $F$分布

$$X_1\sim {\chi }^2(n),X_2\sim {\chi }^2(m),X_1,X_2独立$$$$Y=\frac{\frac{1}{m}{X}_2}{\frac{1}{n}{X}_1}$$$Y$服从自由度为$(m,n)$的$F$分布:$$Y\sim F(m,n)$$重要性质:$$\boxed{X\sim F(m,n)\Rightarrow \frac{1}{X}\sim F(n,m)}$$$$\boxed{X\sim t(n)\Rightarrow X^2\sim F(1,n)}$$

	$E(X)$	$D(X)$
$X\sim {\chi }^2(n)$	$n$	$2n$
$X\sim t(n)$	$0(n>1)$	$\frac{n}{n-2}(n>2)$
$X\sim F(m,n)$	$\frac{n}{n-2}(n>2)$	$\frac{2n^2(m+n-2)}{m(n-2{)}^2(n-4)}(n>4)$

统计量与抽样分布

1. 基本概念

(1) 总体($X$): 与所研究的问题有关的对象(个体)的全体所构成的集合.
——有限总体、无限总体、总体分布
(2) 样本[变量$(X_1,\cdots ,X_n)$, 观测值$(x_1,\cdots ,x_n)$]: 按一定的规定从总体中抽出的一部分个体.
——简单随机抽样、独立同分布
(3) 统计量: 不含任何未知参数的样本函数.

2. 常用统计量

样本均值:$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$样本方差:$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$$样本标准差:$$S=\sqrt{S^2}$$样本$k$阶(原点)矩:$$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k(k\in {\mathbb{N}}_{+})$$样本$k$阶中心矩:$$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k(k\in {\mathbb{N}}_{+})$$部分性质:$$\boxed{\overline{X}与S^2相互独立}$$$$\boxed{A_1=\overline{X},B_2=\frac{n-1}{n}{S}^2}$$$$\boxed{总体X,E(X)=\mu ,D(X)={\sigma }^2,X_1\cdots X_n是来自总体X的样本,则有E(\overline{X})=\mu ,D(\overline{X})=\frac{{\sigma }^2}{n},E(S^2)={\sigma }^2,D(S^2)=\frac{2{\sigma }^4}{n-1}.}$$

3. 常见正态总体统计量的分布

$X_1,\cdots ,X_n$是来自正态总体$X\sim N(\mu ,{\sigma }^2)$的样本
$$\boxed{\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})}$$$$\boxed{\frac{(n-1)S^2}{{\sigma }^2}=\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }^2}\sim {\chi }^2(n-1)}$$$$\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)$$$$\boxed{\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)}$$$$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
$X_1,\cdots ,X_n$是来自正态总体$X\sim N({\mu }_1,{\sigma }_1^2)$的样本, $Y_1,\cdots ,Y_m$是来自正态总体$Y\sim N({\mu }_2,{\sigma }_2^2)$的样本
$$\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\sim N(0,1)$$$$\boxed{\frac{S_2^2/{\sigma }_2^2}{S_1^2/{\sigma }_1^2}\sim F(m-1,n-1)}$$$$\boxed{当{\sigma }_1^2={\sigma }_2^2时,\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}\sqrt{\frac{1}{n}+\frac{1}{m}}}\sim t(n+m-2)}$$

参数估计

1. 矩估计

总体分布为$f(x;{\theta }_1,\cdots ,{\theta }_k)$. 解矩估计方程组${\alpha }_m({\theta }_1,\cdots ,{\theta }_k)=A_m$, 即:$\boxed{{\int }_{-\infty }^{\infty }{x}^{m}f(x;{\theta }_1,\cdots ,{\theta }_k)\text{d}x或\sum _i{x}_i^{m}f(x_i;{\theta }_1,\cdots ,{\theta }_k)=\frac{1}{n}\sum _{i=1}^n{X}_i^m(m=1,\cdots ,k)}$, 得到${\theta }_j$的矩估计值$\widehat{{\theta }_j}=\widehat{{\theta }_j}(X_1,\cdots ,X_n)$.
最常见的情况是用样本的$A_1$ (即$\overline{X}$)、$A_2$ (或$B_2$)去估计:
(1) 求出总体的矩$\mu =E(X)=g(\theta )$;
(2) 令$\mu =g(\theta )=\overline{X}$, 反解出估计量方程$\hat{\theta }=h(\overline{X})$;
(3) 将$\overline{X}$的值代入$\hat{\theta }=h(\overline{X})$计算出估计值.
有两个未知参数${\theta }_1,{\theta }_2$的情况: $\boxed{\{\begin{array}{l}\overline{X}=\mu ;\\ B_2={\sigma }^2\text{(对矩估计的修正: }{S}^2={\sigma }^2).\end{array}}$

2. 极大似然估计

总体$X$, $P(X=x)=p(x;{\theta }_1,\cdots ,{\theta }_k)$(对离散型总体)或概率密度为$f(x;{\theta }_1,\cdots ,{\theta }_k)$(对连续型总体), 其中$\theta$为未知参数. 设$x_1,\cdots ,x_n$是一组样本观测值.
(1) 计算似然函数$L({\theta }_1,\cdots ,{\theta }_k)=\prod _{i=1}^{n}p(x_i;{\theta }_1,\cdots ,{\theta }_k)或\prod _{i=1}^{n}f(x_i;{\theta }_1,\cdots ,{\theta }_k)$;
(2) 对似然函数(其关于${\theta }_j$的部分通常较为复杂)取对数得$\boxed{l({\theta }_1,\cdots ,{\theta }_k)=\text{ln}L({\theta }_1,\cdots ,{\theta }_k)=\sum _{i=1}^n\text{ln}p(x_i;{\theta }_1,\cdots ,{\theta }_k)或\sum _{i=1}^n\text{ln}f(x_i;{\theta }_1,\cdots ,{\theta }_k)}$;
(3) 对${\theta }_j$求(偏)导, 并令$\boxed{\frac{\partial }{\partial {\theta }_j}l({\theta }_1,\cdots ,{\theta }_k)=0}$, 解出极大似然估计值$\widehat{{\theta }_j}$;
(4) 验证二阶(偏)导$\frac{{\partial }^2}{\partial {\theta }_j^2}l({\theta }_1,\cdots ,{\theta }_k){|}_{{\theta }_j=\widehat{{\theta }_j}}<0$, 确保$\widehat{{\theta }_j}$为区间上的极大值点.
如果发现似然函数$L({\theta }_1,\cdots ,{\theta }_k)$在区间上关于待估参数${\theta }_j$是单调的, 也即方程$\frac{\partial }{\partial {\theta }_j}l({\theta }_1,\cdots ,{\theta }_k)=0或\frac{\partial }{\partial {\theta }_j}L({\theta }_1,\cdots ,{\theta }_k)=0$无解, 那么就要根据$L({\theta }_1,\cdots ,{\theta }_k)$关于${\theta }_j$的单调性来选取$\widehat{{\theta }_j}$的值了. 要注意$x$的取值范围, 以及取值范围与${\theta }_j$的关联.

3. 估计量的优良性准则

设$\hat{\theta }=\hat{\theta }(X_1,\cdots ,X_n)$是未知参数$\theta$的估计量.
【相合性】
若$\forall \epsilon >0$, 有$\underset{n\to \infty }{\lim }P(|\hat{\theta }-\theta |⩾\epsilon )=0$ (依概率收敛), 则称$\hat{\theta }$为$\theta$的相合估计量(一致估计量).
【无偏性】
若$\boxed{E(\hat{\theta })=\theta }$, 则称$\hat{\theta }$为$\theta$的无偏估计量;
若$\underset{n\to \infty }{\lim }E(\hat{\theta })=\theta$, 则称$\hat{\theta }$为$\theta$的渐近无偏估计量.
【有效性】
对于待估参数$\theta$的估计量$\widehat{{\theta }_1},\widehat{{\theta }_2}$, 若$\boxed{D(\widehat{{\theta }_1})⩽D(\widehat{{\theta }_2})}$, 则称$\widehat{{\theta }_1}$比$\widehat{{\theta }_2}$更加有效.

4. 区间估计

$P(\underline{\theta }<\theta <\overline{\theta })=1-\alpha (0<\alpha <1)$
随机区间$(\underline{\theta },\overline{\theta })$是$\theta$的置信度为$1-\alpha$的置信区间, 分别称$\underline{\theta }$和$\overline{\theta }$为置信度为$1-\alpha$的置信上限和置信下限.

假设检验

0. 上分位点

$u_{\alpha }$是$X$或其分布的上$\alpha$分位点: $P(X>u_{\alpha })=\alpha$
记号约定: $N(0,1)-z_{\alpha }$; ${\chi }^2(n)-{\chi }_{\alpha }^2(n)$; $t(n)-t_{\alpha }(n)$; $F(n,m)-F_{\alpha }(n,m)$
性质: $z_{1-\alpha }=-z_{\alpha }$; $t_{1-\alpha }(n)=-t_{\alpha }(n)$; $F_{\alpha }(n,m)=\frac{1}{F_{1-\alpha }(m,n)}$

1. ${\sigma }^2$已知时关于$\mu$的假设检验 ($u$检验)

$H_0$	$H_1$	检验统计量	拒绝域$W$
$\mu ={\mu }_0$	$\mu \ne {\mu }_0$	$\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$	{ ∣ x ‾ − μ 0 σ / n ∣ > z α 2 } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{\sigma/\sqrt{n}}\right\vert>z_{\frac{\alpha}{2}}\right\} { ​σ/n ​x−μ0​​ ​>z2α​​}
$\mu ={\mu }_0/\mu ⩽{\mu }_0$	$\mu >{\mu }_0$	$\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$	{ ∣ x ‾ − μ 0 σ / n ∣ > z α } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{\sigma/\sqrt{n}}\right\vert>z_{\alpha}\right\} { ​σ/n ​x−μ0​​ ​>zα​}
$\mu ={\mu }_0/\mu ⩾{\mu }_0$	$\mu <{\mu }_0$	$\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}$	{ ∣ x ‾ − μ 0 σ / n ∣ < − z α } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{\sigma/\sqrt{n}}\right\vert<-z_{\alpha}\right\} { ​σ/n ​x−μ0​​ ​<−zα​}

2. ${\sigma }^2$未知时关于$\mu$的假设检验 ($t$检验)

$H_0$	$H_1$	检验统计量	拒绝域$W$
$\mu ={\mu }_0$	$\mu \ne {\mu }_0$	$\frac{\overline{x}-{\mu }_0}{S/\sqrt{n}}$	{ ∣ x ‾ − μ 0 S / n ∣ > t α 2 ( n − 1 ) } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{S/\sqrt{n}}\right\vert>t_{\frac{\alpha}{2}}(n-1)\right\} { ​S/n ​x−μ0​​ ​>t2α​​(n−1)}
$\mu ={\mu }_0/\mu ⩽{\mu }_0$	$\mu >{\mu }_0$	$\frac{\overline{x}-{\mu }_0}{S/\sqrt{n}}$	{ ∣ x ‾ − μ 0 S / n ∣ > t α ( n − 1 ) } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{S/\sqrt{n}}\right\vert>t_{\alpha}(n-1)\right\} { ​S/n ​x−μ0​​ ​>tα​(n−1)}
$\mu ={\mu }_0/\mu ⩾{\mu }_0$	$\mu <{\mu }_0$	$\frac{\overline{x}-{\mu }_0}{S/\sqrt{n}}$	{ ∣ x ‾ − μ 0 S / n ∣ < − t α ( n − 1 ) } \left\{\left\vert\frac{\overline{x}-\mu_{0}}{S/\sqrt{n}}\right\vert<-t_{\alpha}(n-1)\right\} { ​S/n ​x−μ0​​ ​<−tα​(n−1)}

3. $\mu$已知时关于${\sigma }^2$的假设检验 (${\chi }^2$检验/卡方检验)

4. $\mu$未知时关于${\sigma }^2$的假设检验 (${\chi }^2$检验/卡方检验)

5. ${\sigma }_1^2$及${\sigma }_2^2$已知时, ${\mu }_1-{\mu }_2$的假设检验

6. ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$未知时, ${\mu }_1-{\mu }_2$的假设检验

7. ${\mu }_1$及${\mu }_2$未知时, $\frac{{\sigma }_1^2}{{\sigma }_2^2}$的假设检验 ($F$检验)

8. 成对数据的$t$检验

成对数据$x_1,\cdots ,x_n$和$y_1,\cdots ,y_n$
配对差值$d_i=y_i-x_i(i=1,\cdots ,n)$
可以将$d_1,\cdots ,d_n$视为来自正态总体$N(\mu ,{\sigma }^2)$的样本
问题变成对单个正态总体在方差未知时, 对均值的$t$检验