假设检验的基本思想与概念
假设检验问题
通过一个例子解释假设检验的基本思想，一种奶茶由牛奶和茶按照一定比例混合而成，可以先加奶后加茶，记为MT，也可以先加茶后加奶，记为TM，某女士声称能辨别MT和TM，如何辨别该女士是否能分出MT和TM呢？首先，作出如下假设$$H_0：该女士无此种鉴别能力$$
然后，让该女士尝试鉴别10杯奶茶，结果该女士正确辨别了10杯奶茶，如果该女士不能鉴别奶茶，则每杯鉴定正确的概率为0.5，全部正确鉴别的概率为$p=2^{-10}<0.001$，这是一个非常小的概率，说明该结果在一次实验中几乎不会发生，因此原假设H不合理，应当予以拒绝。这就是假设检验的基本思想。
- 参数检验：假设可以用一个参数集合来表示，则称参数检验。
- 非参数检验：原假设无法用参数表示，如检验一个分布是否为正态分布。
假设检验的步骤
建立假设
通常将不应轻易否定的假设称为原假设，记为$H_0$，与原假设相对立的假设称为备择假设，记为$H_1$。若备择假设分布在原假设两侧，如下假设，则称为双侧假设，否则称为单侧假设。$$H_0:\theta=\hat\theta,H_1:\theta\neq\hat\theta$$
选择检验统计量，给出拒绝域形式
对原假设进行检验是通过一个统计量给出的，该统计量称为检验统计量。针对原假设将整个样本空间划分为两个对立的部分$W$和$\overline{W}$，当样本属于$W$时，则拒绝原假设，否则接受原假设，则$W$被称为拒绝域，$\overline{W}$被称为接受域。
选择显著性水平
由于假设检验的基本思想是小概率事件在一次试验中不会发生，但是，小概率事件确实是有可能发生的，这就导致假设检验会做出错误的选择。当原假设为真，但拒绝原假设时，我们说犯了第一类错误，当原假设为假，但接受原假设时，我们说犯了第二类错误。
| 观测情况 | $H_0$为真 | $H_1$为真 |
|---|---|---|
| 拒绝原假设 | 第一类错误 | 正确 |
| 接受原假设 | 正确 | 第二类错误 |
可以证明，第一类错误和第二类错误的概率不可能同时最小化，因此，使用显著性水平来控制第一类错误发生的概率。
- 显著性水平：设犯第一类错误的概率为$P=P\{X\in W|H_0\}$，若$$P<\alpha$$恒成立，则称该检验是显著性水平为$\alpha$的显著性检验，如第一个例子中的0.001即为显著性水平。
给出拒绝域并做出判断
确定显著性水平后，即可给出拒绝域并作出判断。
检验的p值
- p值：在一个假设检验问题巾，利用样本观测的能够作出拒绝原假设的最小显著性水平称为检验的p值。
- 如果$\alpha\geq p $，则在显注性水平$\alpha$下拒绝原假设。
- 如果$\alpha< p $，则在显若性水平$\alpha$下接受原假设。
正态总体的参数假设检验
假设检验统计量的来源与区间估计的枢轴量类似。
单正态总体均值的检验
$x_1,x_2,...x_n$是来自正态总体$N(\mu，\sigma^2)$的样本，考虑三种关于均值的假设检验。
$$1.H_0:\mu\leq\mu_0,H_1:\mu>\mu_0$$
$$2.H_0:\mu\geq\mu_0,H_1:\mu<\mu_0$$
$$3.H_0:\mu=\mu_0,H_1:\mu\neq\mu_0$$
两正态总体均值差的检验
$x_1,x_2,...x_n$是来自正态总体$N(\mu_1，\sigma^2_1)$的样本，$y_1,y_2,...y_n$是来自正态总体$N(\mu_2，\sigma^2_2)$的样本，考虑以下三种检验。
$$1.H_0:\mu_1-\mu_2\leq0,H_1:\mu_1-\mu_2>0$$$$2.H_0:\mu_1-\mu_2\geq0,H_1:\mu_1-\mu_2<0$$$$3.H_0:\mu_1-\mu_2=0,H_1:\mu_1-\mu_2\neq0$$
成对数据的假设检验
在上一节中，两正态总体是相互独立的，当两总体之间存在相互关系时，抽取的样本为匹配样本，不能使用上一节中的方法。例如，某公司有两种生产方式，为验证哪种方式生产同样产品的生产时间较短进行抽样。独立样本的方法是，随机从所有工人中抽取一些工人采用方法1，再随机抽取一些工人采用方法2，由此形成两组独立样本。而匹配样本的抽样则是，随机抽取部分工人采用方法1生产，然后再采用方法2生产，由此形成的两组生产时间数据并非相互独立的，因为两组数据一一对应由同一个工人生产。
因此，匹配样本情况下应当对一一对应的样本进行处理并按照单样本处理。
正态总体方差的检验
分布拟合检验
之前主要讨论了分布已知的情况下对参数进行假设检验，本节讨论对分布的假设检验，这类检验称为分布的拟合检验，是一类非参数检验问题。
分类数据的$\chi^2$拟合优度检验
孟德尔遗传试验中，对于等位基因为$AaBb$的个体，假设其杂交后代性状表现为$9:3:3:1$分别表示双显性、单显性、双隐性性状的比例，在一次试验中，收获556个个体，四类个体数分别为315，108，101，32，该数据与假设是否吻合？
这类问题的一般情形为：根据某项指标，总体被分为$r$类，$A_1,A_2,A_3,...A_r$，每类的比例有以下假设：$$H_0：A_i的比例为p_{i0}$$
使用皮尔逊统计量，有以下近似分布$$\chi^2=\sum_{i = 1}^{r}\frac{(n_i-np_{i0})^2}{np_{i0}}\sim \chi^2(r-1)$$
在此不对上式进行推导，从表达式来看，$\chi^2$是在原假设的条件下理论值与实际值的偏差平方标准化后的和，衡量的是理论值与实际值的差距，显然差距越小越好，因此拒绝域为$$\{\chi^2>\chi^2_{1-\alpha}(r-1)\}$$
在实际使用中有以下两点要注意：
- 原假设的分布可能依赖$k$个未知参数，可通过MLE对参数进行估计，但是最终自由度为$r-k-1$
- 由于是使用中心极限定理证明的渐近分布，因此只适用于大样本情况下。
分布的$\chi^2$拟合优度检验
分布的拟合优度检验的目的是检验假设$$H_0:F(x)=F_0(x)$$
即检验某组数据是否符合某已知形式的分布。
- 离散变量：离散型数据的检验方法就是上一节中使用的方法。
- 连续变量：连续变量使用分箱的方法将数据离散化，然后使用上一节的方法。