假设检验笔记

假设检验，就是做了一个假设 H，然后通过实验得到相关的统计数据判断 H 是否（大概率）成立，或者有多大把握认为 H 成立。这个 H 一般是一个与分布、统计量相关的的命题，如 $H:P\{硬币朝上\}<0.2$。

Intuition

直觉上，假定 H 正确，会使某个事件 A 变成小概率事件，即 $P(A|H)$ 很小，那么在 H 的条件下，A 几乎不可能发生，如 $H:P\{硬币朝上\}<0.2$，$A:\text{连抛100次，80次朝上}$。但若果在检验实验中 A 居然发生了，那 H 大概率是错的，于是拒绝 H。

Example

要检验此女士是否真能分辨「茶+奶」和「奶+茶」，可以进行伯努利实验：n 杯奶茶混合液给她逐杯试，如果她能至少分对 k 次，那就认为她真的能分辨。
为此可以作出假设 $H_0:她其实不能分辨，只是瞎猜$。将 $H_0$ 的对立假设记为 $H_1$。
选择这样假设是因为，这等价于对她的判断的分布作出假设：如果是瞎猜，那么她猜「茶+奶」和「奶+茶」的概率都应该是 0.5，对于每一杯她猜对的概率亦是 0.5，于是对于她猜对的总杯数 X，可以写出分布 $X\sim B(n,0.5)$。
可以算出，要猜对多个的概率是很小的。即要观察的事件是 $A:分对至少k杯$，当 k 比较大时，$P(A|H_0)$ 很小，$A|H_0$ 几乎不可能发生。
接下来就是进行实验，如果 A 发生了，就拒绝 $H_0$、接受 $H_1$，否则相反。

$\alpha$, P-value

这样检验有主观的成分：k 取多大，才能大概率地相信她是真的能分辨（才能在 A 发生时拒绝 $H_0$）？这可以换一种说法：$P(A|H_0)$ 要多小（在 $H_0$ 条件下 A 要多难发生），才能在 A 真的发生时有足够的信心相信 $H_0$ 是错的？
此例中 P-value 就是 $P(A|H_0)$（P-value 应该是 A 和比 A 更难发生的事件概率和）。指定 k 的大小，等价于指定一个概率阈值 $\alpha$，只有当 $\text{P-value}=P(A|H_0)\le \alpha$ 时，才认为：$A发生\iff H_0明显/大概率是错的$，于是在 A 发生时拒绝 $H_0$。
所有使得拒绝 $H_0$ 的 P-value 的集合叫拒绝域，此例中就是 $[0,\alpha ]$，即当实验测得 P-value 落在拒绝域时，就拒绝 $H_0$。$\alpha$ 常取 0.05、0.01 等小值。

Error: Type I, Type II

上帝知道 $H_0$ 实际上是真的还是假的，但人不知道，所以依据实验结果，决定要拒绝或接受 $H_0$ 时，此时做出的决策（拒绝/接受）可能是错的，错误分两类：

• 第 I 类，弃真错误，即 $H_0$ 其实是真的（上帝视觉），但被拒绝了；
• 第 II 类，取伪错误，即 $H_0$ 其实是错的，但被接受了。

犯第 I 类错误的概率，就是 A 发生时拒绝 $H_0$ 的概率，即 $\alpha$，又叫显著性水平，$1-\alpha$ 称为置信度。

References

1. 统计学基础–假设检验
2. 假设检验（Hypothesis Testing）
3. 假设检验——这一篇文章就够了
4. 【r<-Rmarkdown】常用数学符号的 LaTeX 表示方法