东北大学应用数理统计第三章知识点总结——假设检验

假设检验

一、基本检验

1.1 背景

• 小概率事件在一次试验中不应该发生
• 女士品茶例子：是否真的有鉴别能力？
• 假设检验的任务就是要根据抽取出的样本，来决定是接受零假设，还是拒绝零假设（接受对立假设）

1.2 基本过程

• 例子：女士品茶、机器是否正常工作$X$ ~ $N(\mu ,0.05)$
• 提出一个统计假设：如果机器正常工作，应该是 $\mu =15.1$，反之应该是$\mu \ne 15.1$
• 选取一个合适的检验统计量（类比第二章，参数估计、区间估计）
  $$零假设成立时：z=\frac{\sqrt{6}(\overline{X}-15.1)}{\sqrt{0.05}}\to N(0,1)$$
• 利用零假设成立时检验统计量的的分布构造出一个小概率事件
  $$P\{\frac{\sqrt{6}|\overline{X}-15.1|}{\sqrt{0.05}}>{\mu }_{\alpha /2}\}=\alpha$$
• 代入样本观察值，如果使得这个小概率事件发生，就否定零假设而去接受对立假设。否则说明样本没有提供否定零假设的显著性证据，因此应该接受零假设。

1.3 相关概念

• 显著性水平（检验水平）（默认为$\alpha =0.05$）
• 接受域、拒绝域（否定域）
• 显著水平对于$H_0$的保护,$\alpha$越小越不容易否定零假设
• 零假设、对立假设
• 两类检验错误：第一类错误（拒真），第二类错误（采假）
• 功效函数：${\beta }_{\varphi }(\theta )=P_{\theta }\{否定零假设H_0\},\theta \in \Theta$
  例：
  $${\beta }_{\varphi }(\mu )=P_{\mu }\{\overline{X}>C\}=1-\Phi (\frac{\sqrt{n}(C-\mu )}{{\sigma }_0})$$
  $$C=\overline{X}={\mu }_0+\frac{{\mu }_{\alpha }{\sigma }_0}{\sqrt{n}}$$
  $${\beta }_{\varphi }(\mu )=1-\Phi (\frac{\sqrt{n}({\mu }_0-\mu )}{{\sigma }_0}+{\mu }_{\alpha })=\Phi (\frac{\sqrt{n}(\mu -{\mu }_0)}{{\sigma }_0}-{\mu }_{\alpha })$$
• 检验第一类错误
  $${\beta }_{\varphi }(\mu )=\Phi (\frac{\sqrt{n}(\mu -{\mu }_0)}{{\sigma }_0}-{\mu }_{\alpha })$$
• 检验第二类错误
  $${\beta }_{\varphi }(\mu )=1-\Phi (\frac{\sqrt{n}(\mu -{\mu }_0)}{{\sigma }_0}-{\mu }_{\alpha })$$
• $p-$值（$p-value$）：零假设成立时得到所观测数据或者更为极端数据的概率

1.4 注意事项

• 样本量不变的情况下，无法同时减小第一类错误、第二类错误
• 先使$\alpha$尽可能小，减小第一类错误
• 提高样本容量$n$，减小第二类错误

二、重要参数检验（只构造水平为$\alpha$的检验，不讨论犯第二类错误的概率）

2.1 正态总体参数的检验（均值、方差、成对数据）

1、一个总体的均值的检验
（1）方差已知 ${\sigma }_0^2$($\mu$检验), $\frac{\sqrt{n}(\overline{X}-\mu )}{{\sigma }_0}$~$N(0,1)$

• $a.H_0:\mu ={\mu }_0\iff H_1:\mu \ne {\mu }_0$
  $$\frac{\sqrt{n}|\overline{X}-{\mu }_0|}{{\sigma }_0}>{\mu }_{\alpha /2}$$
• $b.H_0:\mu \le {\mu }_0\iff H_1:\mu >{\mu }_0$
  $$\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{{\sigma }_0}>{\mu }_{\alpha }$$
• $c.H_0:\mu \ge {\mu }_0\iff H_1:\mu <{\mu }_0$
  $$\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{{\sigma }_0}<-{\mu }_{\alpha }$$

（2）方差 ${\sigma }_0^2$未知($t$检验), $\frac{\sqrt{n}(\overline{X}-\mu )}{S}$~$t(n-1)$

• $a.H_0:\mu ={\mu }_0\iff H_1:\mu \ne {\mu }_0$
  $$\frac{\sqrt{n}|\overline{X}-\mu |}{S}>t_{\alpha /2}(n-1)$$
• $b.H_0:\mu \le {\mu }_0\iff H_1:\mu >{\mu }_0$
  $$\frac{\sqrt{n}(\overline{X}-\mu )}{S}>t_{\alpha }(n-1)$$
• $c.H_0:\mu \ge {\mu }_0\iff H_1:\mu <{\mu }_0$
  $$\frac{\sqrt{n}(\overline{X}-\mu )}{S}<-t_{\alpha }(n-1)$$

2、两个总体均值差的检验
（1）方差 ${\sigma }_1^2、{\sigma }_2^2$未知($\mu$检验), $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$~$N(0,1)$

• $a.H_0:{\mu }_1-{\mu }_2=\delta \iff H_1:{\mu }_1-{\mu }_2\ne \delta$
  $$\frac{|\overline{X}-\overline{Y}-\delta |}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}>{\mu }_{\alpha /2}$$
• $b.H_0:{\mu }_1-{\mu }_2\le \delta \iff H_1:{\mu }_1-{\mu }_2>\delta$
  $$\frac{\overline{X}-\overline{Y}-\delta }{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}>{\mu }_{\alpha }$$
• $c.H_0:{\mu }_1-{\mu }_2\ge \delta \iff H_1:{\mu }_1-{\mu }_2<\delta$
  $$\frac{\overline{X}-\overline{Y}-\delta }{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}<-{\mu }_{\alpha }$$

（2）方差 ${\sigma }_1^2、{\sigma }_2^2$未知但相等($t$检验), $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$~$t(n_1+n_2-2)$
$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$

• $a.H_0:{\mu }_1-{\mu }_2=\delta \iff H_1:{\mu }_1-{\mu }_2\ne \delta$
  $$\frac{|\overline{X}-\overline{Y}-\delta |}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}>t_{\alpha /2}(n_1+n_2-2)$$
• $b.H_0:{\mu }_1-{\mu }_2\le \delta \iff H_1:{\mu }_1-{\mu }_2>\delta$
  $$\frac{\overline{X}-\overline{Y}-\delta }{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}>t_{\alpha }(n_1+n_2-2)$$
• $c.H_0:{\mu }_1-{\mu }_2\ge \delta \iff H_1:{\mu }_1-{\mu }_2<\delta$
  $$\frac{\overline{X}-\overline{Y}-\delta }{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}<-t_{\alpha }(n_1+n_2-2)$$

3、一个总体的方差的检验
（1）均值 ${\mu }_0$已知(${\chi }^2$检验), $\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{\sigma }$~$N(0,1)or{\sum }_{k=1}^n\frac{(X_k-{\mu }_0{)}^2}{{\sigma }^2}$ ~ ${\chi }^2(n)$

• $a.H_0:{\sigma }^2={\sigma }_0^2\iff H_1:{\sigma }^2\ne {\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-{\mu }_0{)}^2}{{\sigma }_0^2}>{\chi }_{\alpha /2}^2(n)or\sum _{k=1}^n\frac{(X_k-{\mu }_0{)}^2}{{\sigma }_0^2}<{\chi }_{1-\alpha /2}^2(n)$$
• $b.H_0:{\sigma }^2\le {\sigma }_0^2\iff H_1:{\sigma }^2>{\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-{\mu }_0{)}^2}{{\sigma }_0^2}>{\chi }_{\alpha }^2(n)$$
• $c.H_0:{\sigma }^2\ge {\sigma }_0^2\iff H_1:{\sigma }^2<{\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-{\mu }_0{)}^2}{{\sigma }_0^2}<{\chi }_{1-\alpha }^2(n)$$

（2）均值 $\mu$未知(${\chi }^2$检验), ${\sum }_{k=1}^n\frac{(X_k-\overline{X}{)}^2}{{\sigma }^2}$ ~ ${\chi }^2(n-1)$

• $a.H_0:{\sigma }^2={\sigma }_0^2\iff H_1:{\sigma }^2\ne {\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-\overline{X}{)}^2}{{\sigma }_0^2}>{\chi }_{\alpha /2}^2(n-1)or\sum _{k=1}^n\frac{(X_k-\overline{X}{)}^2}{{\sigma }_0^2}<{\chi }_{1-\alpha /2}^2(n-1)$$
• $b.H_0:{\sigma }^2\le {\sigma }_0^2\iff H_1:{\sigma }^2>{\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-\overline{X}{)}^2}{{\sigma }_0^2}>{\chi }_{\alpha }^2(n-1)$$
• $c.H_0:{\sigma }^2\ge {\sigma }_0^2\iff H_1:{\sigma }^2<{\sigma }_0^2$
  $$\sum _{k=1}^n\frac{(X_k-\overline{X}{)}^2}{{\sigma }_0^2}<{\chi }_{1-\alpha }^2(n-1)$$

4、两个总体方差比的检验
（1）均值 ${\mu }_1、{\mu }_2$都未知($F$检验), $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}$ ~ $F(n_1-1,n_2-1)$

• $a.H_0:{\sigma }_1^2={\sigma }_2^2\iff H_1:{\sigma }^2\ne {\sigma }_0^2$
  $$\frac{S_1^2}{S_2^2}>F_{\alpha /2}(n_1-1,n_2-1)or\frac{S_1^2}{S_2^2}<F_{1-\alpha /2}(n_1-1,n_2-1)$$
• $b.H_0:{\sigma }_1^2\le {\sigma }_2^2\iff H_1:{\sigma }^2>{\sigma }_0^2$
  $$\frac{S_1^2}{S_2^2}>F_{\alpha }(n_1-1,n_2-1)$$
• $c.H_0:{\sigma }_1^2\ge {\sigma }_2^2\iff H_1:{\sigma }^2<{\sigma }_0^2$
  $$\frac{S_1^2}{S_2^2}<F_{1-\alpha }(n_1-1,n_2-1)$$

5、成对数据的检验问题
（1）患者分成两组，一组服用甲，另一组服用乙

• 需要检验两个独立正态总体均值是否相同的问题。（事先检验方差是否相同）

（2）同一组患者各服用甲、乙

• 需要检验这些成对数据的差来自的正态总体的均值是否为0

2.2 指数总体参数的检验

1、理论依据： $2n\lambda \overline{X}$ ~ ${\chi }^2(2n)$

2、对寿命进行检验

• $a.H_0:\lambda ={\lambda }_0\iff H_1:\lambda \ne {\lambda }_0$
  $$2n{\lambda }_0\overline{X}<{\chi }_{1-\alpha /2}^2(2n)or2n{\lambda }_0\overline{X}>{\chi }_{\alpha /2}^2(2n)$$
• $b.H_0:\lambda \le {\lambda }_0\iff H_1:\lambda >{\lambda }_0$
  $$2n{\lambda }_0\overline{X}<{\chi }_{1-\alpha }^2(2n)$$
• $c.H_0:\lambda \ge {\lambda }_0\iff H_1:\lambda <{\lambda }_0$
  $$2n{\lambda }_0\overline{X}>{\chi }_{\alpha }^2(2n)$$

2.3 两点分布参数的检验

1、总体属性比例的检验

• $H_0:p=p_0\iff H_1:p\ne p_0$
  $$|z|=\frac{|p_s-p_0|}{\sqrt{\frac{p_0(1-p_0)}{n}}}>{\mu }_{\alpha /2}$$

2、两个总体比例差的检验

• $H_0:p_1-p_2=0\iff H_1:p_1-p_2\ne 0$
  $$|z|=\frac{|p_{s1}-p_{s2}|}{\sqrt{\frac{p_{s1}(1-p_{s1})}{n_1}+\frac{p_{s2}(1-p_{s2})}{n_2}}}>{\mu }_{\alpha /2}$$

2.4 似然比检验

$$LR=\frac{sup\{L(\theta ),\theta \in {\Theta }_0\}}{sup\{L(\theta ),\theta \in \Theta \}}$$
$$sup\{P_{\theta }(LR<C),\theta \in {\Theta }_0\}=\alpha$$
$$H_0:\theta \in {\Theta }_0的拒绝域就是\{LR<C\}$$

三、非参数检验

3.1 卡方检验

1、想法
$$H_0:F=F_0\iff H_1:F\ne F_0$$
2、公式
$$K^2=\sum _{i=1}^{m+1}\frac{n}{p_i}(\frac{v_i}{n}-p_i{)}^2$$
3、完全已知离散分布的卡方检验

• 需要检验
  $$H_0:P\{X=a_j\}=p_i,1\le i\le k$$
• 取检验统计量
  $$K^2=\sum _{i=1}^k\frac{n}{p_i}(\frac{v_i}{n}-p_i{)}^2=\sum _{i=1}^k\frac{(v_i-n{p}_i{)}^2}{n{p}_i}=\frac{v_i^2}{p_i}\sum _{i=1}^k-n$$
• 水平 $\alpha$ 的一个拒绝域
  $$K^2>{\chi }_{\alpha }^2(k-1)$$

4、含未知参数离散分布的卡方检验

• 取检验统计量
  $$K^2=\sum _{i=1}^k\frac{n}{\widehat{p_i}}(\frac{v_i}{n}-\widehat{p_i}{)}^2$$
• 水平 $\alpha$ 的一个拒绝域
  $$K^2>{\chi }_{\alpha }^2(k-r-1)$$

3.2 Kolmogrov检验

1、考虑检验问题
$$H_0:F(x)=F_0(x)\iff H_1:F(x)\ne F_0(x)$$
2、计算经验分布函数
$$F_n(x)=\{\begin{array}{ll}0,& x\le x_{(1)}\\ \frac{k}{n},& x_{(k)}<x\le x_{(k+1)}\\ 1,& x>x_{(n)}\end{array}$$
3、一致距离定义
$$D_n=sup|F_n(x)-F_0(x)|$$
4、相关定理
（1）$Glivenko-Cantelli$定理
$$P\{lim{D}_n=0\}=1$$
（2）$Kolmogrov$定理
$$P\{n^{1/2}{D}_n\le x\}\to Q(x)$$
$$Q(x)=\sum _{k=-\infty }^{k=+\infty }(-1{)}^{k}exp(-2k^2{x}^2),x>0$$
5、$D_n$的计算公式

• $d_{k1}=|\frac{k}{n}-F_0(x_{(k)})|,d_{k2}=|\frac{k-1}{n}-F_0(x_{(k)})|$
• $d_k=max\{d_{k1},d_{k2}\}$
• $D_n=max\{d_1,d_2,...,d_n\}$

6、$Kolmogrov$检验临界值$(n\ge 40)$
$$P\{n^{1/2}{D}_n\ge d\}=\alpha$$

$\alpha$	$d$
0.9	0.575
0.75	0.678
0.50	0.830
0.25	1.02
0.10	1.23
0.05	1.36
0.01	1.63

7、两点不足

• 只适用于对连续分布的检验
• 不能用来检验分布族（零假设分布中不能含有参数）

3.3 卡方分析（列联表检验）

$$H_0:X、Y相互独立，p_{ij}=p_i\cdot p_j$$
1、$p_i,p_j$ 的极大似然估计

• $lnL={\sum }_{i=1}^s{\sum }_{j=1}^t(n_{ij}ln{p}_i+n_{ij}ln{q}_j)$
• $\widehat{p_i}=\frac{n_{i\cdot }}{n},\widehat{q_j}=\frac{n_{\cdot j}}{n},1\le i\le s,1\le j\le t$

2、（分类变量）独立性的检验
$$K^2=\sum _{i=1}^s\sum _{j=1}^t\frac{(n_{ij}-n\widehat{p_i}\widehat{q_j}{)}^2}{n\widehat{p_i}\widehat{q_j}}$$
（1）极限分布的自由度为
$$st-(s-1)-(t-1)-1=(s-1)(t-1)$$
（2）拒绝域为
$$K^2>{\chi }_{\alpha }^2((s-1)(t-1))$$
（3）列联表检验统计量的计算公式
$$K^2=n[\sum _{i=1}^s\sum _{j=1}^t\frac{n_{ij}^2}{n_{i\cdot }{n}_{\cdot j}}-1]$$
（4）四格表检验统计量的计算公式
$$K^2=\frac{n(n_{11}{n}_{22}-n_{12}{n}_{21}{)}^2}{n_{1\cdot }{n}_{2\cdot }{n}_{\cdot 1}{n}_{\cdot 2}}$$

• 拒绝域
  $$K^2>{\chi }_{\alpha }^2(1)$$

3.4 秩检验

1、理论依据：因此依赖于 $R$ 的统计量（秩统计量）$T(R)$ 具有与 $X$ 的总体 $F$ 无关、固定不变的分布 。
$$P\{R=a\}=\frac{1}{n!}$$
2、秩和：$W=R_1+...+R_n$
3、特例
（1）两个总体分布函数的秩和检验方法
$$W=\sum _{i=1}^m\sum _{j=1}^{n}I[Y_j>X_i]+\frac{1}{2}n(n+1)$$

• $H_0:F(x)\le G(x)\iff H_1:F(x)>G(x)$
  $$拒绝域：W\ge d$$
• $H_0:F(x)\ge G(x)\iff H_1:F(x)<G(x)$
  $$拒绝域：W\le c$$
• $H_0:F(x)=G(x)\iff H_1:F(x)\ne G(x)$
  $$拒绝域：W\le c\cup W\ge d$$

（2）非参数的均值检验

• $H_0:{\mu }_1\ge {\mu }_2\iff H_1:{\mu }_1<{\mu }_2$
  $$拒绝域：W\ge d$$
• $H_0:{\mu }_1\le {\mu }_2\iff H_1:{\mu }_1>{\mu }_2$
  $$拒绝域：W\le c$$
• $H_0:{\mu }_1={\mu }_2\iff H_1:{\mu }_1\ne {\mu }_2$
  $$拒绝域：W\le c\cup W\ge d$$

3.5 符号检验

• 如果在重复观察时总体没有变化，则$n$个样本中应该有正、负号基本上各占一半
• 可以用二项分布计算出正号的$p-$值
  $$p-值=BINOMDIST(k,n,p,1)$$
• 相对比较安全

四、统计决策与Bayes理论

4.1 统计决策

1、三个要素
（1）参数空间 $\Theta$：未知参数 $\theta$ 全部可能值构成的空间
（2）决策空间 $D$：实际工作中可能采取的各种行为
（3）损失函数 $L(\theta ,d)$：参数是 $\theta$ 时采取行为 $d$ 而引起的损失

2、常见的两种损失函数
（1）平方损失
$$L(\theta ,d)=(\theta -d{)}^2$$
（2）绝对损失
$$L(\theta ,d)=|\theta -d|$$
3、风险函数
$$R(\theta ,\delta )=E[L(\theta ,\delta (X_1,...,X_n))]$$
4、说明

• 对于任意一个区间估计 $\delta (x)=({\phi }_1(x),{\phi }_2(x))$
• 损失$L_1$导致风险函数
  $$R_1(\theta ,\delta )=1-P\{{\phi }_1(x)<\theta <{\phi }_2(x)\}$$
• 损失$L_2$的风险函数是区间平均长度
  $$R_2(\theta ,\delta )=E[{\phi }_2(x)-{\phi }_1(x)]$$
• 指定置信度为$1-\alpha$就理解为 $R_1(\theta ,\delta )\le \alpha$，然后在这个条件下要求 $R_2(\theta ,\delta )$ 尽可能地小

5、常用的决策原则
（1）$Minimax$ 决策（极小化极大方法）：对每一个决策都考虑最坏的可能状态，然后选择哪个对于全部最坏状态而言是最佳的决策。

（2）$Bayes$ 决策：对于参数 $\theta$ 定义一个概率分布（称为先验分布），把风险函数 $R(\theta ,d)$ 关于这个先验分布取数学期望（称为 $Bayes$ 风险），在决策空间$D$中使得 $Bayes$ 风险最小的那一个作为问题的解。

4.2 Bayes统计理论

1、背景
（1）频率学派：所有关于 $\theta$ 的信息都全部包含在样本之中
（2）$Bayes$ 学派：先验分布 $h(\theta )$ 综合了我们在抽样之前对 $\theta$ 的全部信息

2、基本思想：对 $\theta$ 的估计或者检验都依据后验分布来进行

3、求解步骤
（1）总体分布律或密度
$$p(x,\theta )$$
（2）概率函数
$$f(x|\theta )=\prod p(x_i,\theta )$$
（3）$X$ 与 $\theta$ 的联合分布
$$h(\theta )\cdot \prod p(x_i,\theta )$$
（4）样本 $X$ 的边缘分布
$${\int }_{\Theta }h(\theta )\cdot \prod p(x_i,\theta )d\theta$$
（5） $\theta$ 关于样本 $X$ 的后验分布率或者后验密度函数
$$h(\theta |x)=\frac{h(\theta )\cdot \prod p(x_i,\theta )}{{\int }_{\Theta }h(\theta )\cdot \prod p(x_i,\theta )d\theta }$$
4、$Bayes$ 统计推断理论
（1） $Bayes$ 点估计：根据损失函数取成后验分布的中位数或者数学期望
（2） $Bayes$ 区间估计：直接由后验分布构造
（3） $Bayes$ 检验：由后验分布计算 $\theta$ 落在零假设或者对立假设中的概率，哪个大就接受哪个

5、如何确定先验分布
（1）过去的经验或资料
（2）同等无知原则（$Bayes$ 假定）：先验分布可以不再是一个分布律或者密度函数。如 $h(\theta )=1,\theta \in R^1$，只要能保证样本 $\theta$ 的边缘分布有限从而 $h(\theta |X)$ 存在即可，此时称为广义先验分布。
（3）共轭先验等

6、$Kernel$ 技巧
没有必要对 $h(\theta )\cdot f(X|\theta )$ 进行 $\theta$ 积分或求和求出样本的边缘分布，而是直接看出后验分布的分布类型（与精确分布只相差一个常数）

五、常考题型及解题思路

1、求犯两类错误的概率 $\alpha$ 与 $\beta$
2、元件是否合格？机器是否正常工作？产量有无显著差异？
3、分布是否可以看作是泊松分布？离散均匀分布？二项分布？
4、气管炎与吸烟量是否有关系？三城镇经济收入是否有差异？血型与民族是否有关系？

PDF版本下载