统计学习笔记：假设检验基本概念及U检验、T检验、F检验

1. 假设检验

这里只讨论双侧参数假设检验，不包含单侧及非参的假设检验。

原假设和备择假设

在参数假设检验中，总体的分布类型已知，假设检验的目的是对总体参数进行检验，为此，研究者需要事先提出某个假设，才能根据样本统计量判断假设是否真实。在参数假设检验中，“假设”是对总体参数的具体数值所作的陈述。为了使得作为证据的样本统计量必然支持且仅支持一个假设，要建立对于总体参数在逻辑上完备互斥的一对假设，即原假设(null hypothesis，记为$H_0$)，备择假设(alternative hypothesis，记为$H_1$)。
原假设(又称零假设)，是假定总体参数未发生变化；备择假设(又称对立假设)，是假定总体参数发生变化。实际建立假设时，原假设与备择假设方向不同，会导致不同的结论，为此，在选择原假设和备择假设时，我们通常根据研究者是希望收集证据予以支持还是拒绝的判断作为选择依据。通常将研究者希望收集证据予以拒绝的假设作为原假设，而将研究者希望通过搜集证据予以支持的假设作为备择假设。
例如某产品质量标准为100g，我们想验证某一批产品是否合格，研究者通常想找出不合格产品，所以$H_0:\mu =100$，$H_1:\mu \ne 100$。

第一类错误和第二类错误

第一类错误：原假设是正确的，却拒绝了原假设。
第二类错误：原假设是错误的，却没有拒绝原假设。
我们分别称之为拒真和纳伪。

决策	H0为真	H1为真
接受H0	正确	Type2
拒绝H0	Type1	正确

我们想要在检验中尽可能地使两种错误概率同时减小，但实际上两种错误概率无法同时优化，除非提高样本量。所以通常的做法就是仅限制第一类错误的概率，为其找到一个阈值$\alpha$，称之为显著性水平。

p值

在假设检验中我们做出判断有两种方式：

1. 计算检验统计量，与临界值比较，如U检验中的$U(X)$与$u_{\alpha /2}$比较
2. 计算p值，与显著水平$\alpha$进行比较

p值计算方式：
用Z表示检验的统计量，ZC表示根据样本数据计算得到的检验统计量值
以双侧检验U检验为例，$x_0$为样本数据
$H_0:\mu ={\mu }_0$，$H_1:\mu \ne {\mu }_0$
$pvalue=P_{H_0}(|U(X)|>U(x_0))$

2. U检验

U检验又称Z检验，U检验是一般用于大样本(即样本容量大于30)平均值差异性检验的方法（总体的方差已知）。它是用标准正态分布的理论来推断差异发生的概率，从而比较两个平均数的差异是否显著。

单样本U检验

• 假设：$H_0:\mu ={\mu }_0$，$H_1:\mu \ne {\mu }_0$
• 检验统计量：$U(X)=\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{{\sigma }_0}$
• 拒绝域：$\{x:|U(x)|>u_{\alpha /2}\}$

推导：
$\overline{X}\sim N(\mu ,\frac{{\sigma }_0^2}{n})$，得到$\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\sim N(0,1)$。第一类错误概率$P_{H_0}(|\frac{\sqrt{n}(\overline{X}-\mu )}{{\sigma }_0}|>c)\le \alpha$，所以$c=u_{\alpha /2}$，当$|U(x)|>u_{\alpha /2}$时拒绝原假设。

双样本U检验

• 假设：$H_0:{\mu }_1={\mu }_2$，$H_1:{\mu }_1\ne {\mu }_2$
• 检验统计量：$U=\frac{(\overline{X_1}-\overline{X_2})}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$
• 拒绝域：$\{x:|U|>u_{\alpha /2}\}$

推导：
$\overline{X_1}\sim N({\mu }_1,\frac{{\sigma }_1^2}{n_1})$，$\overline{X_1}\sim N({\mu }_2,\frac{{\sigma }_2^2}{n_2})$，所以$\overline{X_1}-\overline{X_2}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2})$，得到$\frac{\overline{X_1}-\overline{X_2}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$。第一类错误概率$P_{H_0}(|\frac{(\overline{X_1}-\overline{X_2})}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}|>c)\le \alpha$，所以$c=u_{\alpha /2}$，当$|U|>u_{\alpha /2}$时拒绝原假设。

3. T检验

T检验又称student t检验，T检验是一般用于小样本(即样本容量小于30)平均值差异性检验的方法（总体的方差未知）。所以T分布中用样本方差$S_n^2$作为总体方差${\sigma }^2$一个点估计进行计算。

单样本T检验

• 假设：$H_0:\mu ={\mu }_0$，$H_1:\mu \ne {\mu }_0$
• 检验统计量：$T(X)=\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{S_n}$
• 拒绝域：$\{x:|T(x)|>t_{\alpha /2}(n-1)\}$

推导：
首先引入一个定理，$X_1,...,X_n{\sim }_{iid}N(\mu ,{\sigma }^2)$，$S_n^2=\frac{1}{n-1}{\sum }_{i=1}^n(X-\overline{X}{)}^2$为样本方差，则

• $\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
• $(n-1)S_n^2/{\sigma }^2\sim {\mathcal{X}}^2(n-1)$。

根据t分布的定义：$T=\frac{\xi }{\sqrt{\eta /n}}$，其中$\xi \sim N(0,1)$，$\eta \sim {\mathcal{X}}^2(n)$，则记为$T\sim t(n)$。
所以检验统计量$T(X)=\frac{\sqrt{n}(\overline{X}-{\mu }_0)}{S_n}$是满足$t(n-1)$分布的，在$|T(x)|>t_{\alpha /2}(n-1)$情况下拒绝原假设。

双样本T检验（${\sigma }_1^2={\sigma }_2^2={\sigma }^2$未知时）

• 假设：$H_0:{\mu }_1={\mu }_2$，$H_1:{\mu }_1\ne {\mu }_2$
• 检验统计量：$T=\frac{(\overline{X}-\overline{Y}[\sigma \sqrt{(m+n)/(mn)}])}{\sqrt{(m+n-2)S_{mn}^{\ast 2}/[{\sigma }^2(m+n-2)]}}=\sqrt{\frac{mn}{m+n}}\frac{\overline{X}-\overline{Y}}{S_{mn}^{\ast 2}}$
• 拒绝域：$\{x:|T|>t_{\alpha /2}(n-1)\}$

推导：
总样本方差$S_{mn}^{\ast 2}=\frac{{\sum }_{i=1}^m(X_i-\overline{X}{)}^2+{\sum }_{i=1}^m(Y_i-\overline{Y}{)}^2}{m+n-2}$，在$H_0$成立时，$(m+n-2)S_{mn}^{\ast 2}\sim {\mathcal{X}}^2(m+n-2)$，所以$T\sim t(m+n-2)$，$|T|>t_{\alpha /2}(n-1)$时拒绝原假设。

3. F检验

不同的前面的内容，F检验的内容更多也更复杂，先看一下百科上的介绍：

F检验（F-test），最常用的别名叫做联合假设检验（英语：joint hypotheses
test），此外也称方差比率检验、方差齐性检验。它是一种在零假设（null hypothesis,
H0）之下，统计值服从F-分布的检验。其通常是用来分析用了超过一个参数的统计模型，以判断该模型中的全部或一部分参数是否适合用来估计母体。

在实际应用中F检验有如下用途：

• 方差齐性检验（F-test of equality of variances）
• 方差分析（Analysis of Variance, ANOVA）
• 线性回归方程整体的显著性检验

方差齐性检验是其最原始的用途，也与我们前面内容一脉相承，其他的用途在本文不过多介绍。在此之前我们先思考一个问题，前面的U和T检验都是对正态总体的均值进行假设，区别是方差是否已知，那么正态总体方差的检验又是什么样呢？

单样本正态总体方差检验

内容	$\mu ={\mu }_0$已知	$\mu$未知
假设	$H_0:\sigma ={\sigma }_0$，$H_1:\sigma \ne {\sigma }_0$	$H_0:\sigma ={\sigma }_0$，$H_1:\sigma \ne {\sigma }_0$
满足分布	$\frac{{\sum }_{i=1}^n(X_i-{\mu }_0{)}^2}{{\sigma }^2}\sim {\mathcal{X}}^2(n)$	$\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }^2}\sim {\mathcal{X}}^2(n-1)$
检验统计量	${\mathcal{X}}^2=\frac{{\sum }_{i=1}^n(X_i-{\mu }_0{)}^2}{{\sigma }_0^2}$	${\mathcal{X}}^2=\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{{\sigma }_0^2}$
拒绝域	$\{{\mathcal{X}}^2<{\mathcal{X}}_{1-\alpha /2}^2(n)\}\cup \{{\mathcal{X}}^2>{\mathcal{X}}_{\alpha /2}^2(n)\}$	$\{{\mathcal{X}}^2<{\mathcal{X}}_{1-\alpha /2}^2(n-1)\}\cup \{{\mathcal{X}}^2>{\mathcal{X}}_{\alpha /2}^2(n-1)\}$

双样本正态总体方差检验（方差齐性检验）

内容	${\mu }_1$，${\mu }_2$已知	${\mu }_1$，${\mu }_2$未知
假设	$H_0:{\sigma }_1={\sigma }_2$，$H_1:{\sigma }_1\ne {\sigma }_2$	$H_0:{\sigma }_1={\sigma }_2$，$H_1:{\sigma }_1\ne {\sigma }_2$
满足分布	$\frac{{\sum }_{i=1}^n(X_i-{\mu }_1{)}^2/m}{{\sum }_{i=1}^n(Y_i-{\mu }_2{)}^2/n}\sim F(m,n)$	$\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2/(m-1)}{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2/(n-1)}\sim F(m-1,n-1)$
检验统计量	$F=\frac{{\sum }_{i=1}^n(X_i-{\mu }_1{)}^2/m}{{\sum }_{i=1}^n(Y_i-{\mu }_2{)}^2/n}$	$F=\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2/(m-1)}{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2/(n-1)}$
拒绝域	$\{F<F_{1-\alpha /2}^2(m,n)\}\cup \{F>F_{\alpha /2}^2(m,n)\}$	$\{F<F_{1-\alpha /2}^2(m-1,n-1)\}\cup \{F>F_{\alpha /2}^2(m-1,n-1)\}$