基础统计学(9)显著性检验

Hypotheses and significance tests

7.01 Hypotheses

假设

什么是假设?

假定一个总体的参数落在某个值上或者某个范围内，这个值在原有学习和研究的基础上得到的。

我们使用Significance testing(显著性检验)来对样本进行分析来判断这个值是否正确.

显著性假设是通过推断分析(比如置信区间)来实现：通过样本数据来画出总体的置信区间。

假设分 null hypotheses（H0零假设） 和 alternative hypotheses(备择假设 Ha)

零假设是指某个特定的值，它和我们期望的值是相悖的；而备择假设是某个范围，它和零假设是互斥的.

显著性检验是假定零假设为真，除非你的数据提供了明显的反对证明.

以法庭为例: 证明被告无罪是零假设，有罪是备择假设。我们要证明被告有罪，必须要有强有力的证据证明反对被告无罪。（先要证明零假设不成立）

一般的场景都是先有备择假设(研究者有一个值范围)，然后我们提出一个对立的零假设，然后证明它是不成立的。

最后注意:

我们使用显著性检验的方法始终是假设零假设为真，而不是证明备择假设是否成立.

重要:证明备择假设不成立，并不意味着零假设成立. 同样以法庭为例: 我们不能证明被告有罪，并不能就判定被告无罪.

7.02 Test about proportion

检验比例

test statistic(检定统计量): The number of standard error(标准误差的数量).

使用以上公式可以检验某个零假设是否在显著区域内，在显著区域内，表示该显著级别内零假设成立，反之可以推翻零假设

算出了检定统计量后，通过在z-table中查找对应的概率p-value，判断其是否在显著性水平(significance level)范围内

p-value: z值在 z-table中对应的几率

significance level: 若significance level = 0.01, 表示在这个p-value在0.01之外的区域是reject的

reject region: 在significance level之外的区域

最后注意:

反驳区域分单头和双头,最终的结果也是不一样的，见图

significant_1.png

影响显著性检验结果的条件有两个:

1. 单头还是双头

   大部分都是双头的

2. 显著性水平

   默认的显著性级别是0.05

7.03 Test about mean

平均值的显著性检验

思想同7.02, 公式同置信区间一样不同

计算出检定统计量后在t_table(因为我们使用是样本的标准差，引入了标准误差)中查找对应的概率，然后再判断概率是否在显著性水平之内还是之外。

同样影响它的结果的条件有2个:

1. 单头还是双头
2. 显著性水平

Step-by-step plan and confidence interval

7.04 Step-by-step plan

一步一步计划

要实现一个显著性检验，按如下步骤进行

1. Proportion or mean ? 比例还是平均值

2. 规划假设

   • Proportion

     H0:=

     Ha: <> > <

   • mean

     H0:=

     Ha: <> > <

3. 检查假定满足条件

   • propotion

     randomization

     n >= 15

     n(1- ) >= 15

   • mean

     randomization

     总体的分布接近正态分布(如果n的值比较小则进行单头检验)

4. 选定显著性水平 ,通常是0.05

5. 计算检定统计量(terst statistic)

6. 画出抽样分布图

   画出推翻区域的值和关键点

7. 找到检定统计量的位置

8. 判断是否reject H0（推翻零假设）

9. 描述我们的检验结果

significant_2.png

7.05 Significance test and confidence interval

显著性检验和置信区间

它们2个方法不同，但是在数学表达上有联系

在相同置信水平95%和显著性水平0.05下，若零假设在置信区间内，则表示零假设不能被推翻

7.06 Type I and Type II errors

I型错误和II型错误

产生2种错误的原因是由于显著水平的存在

实际	不推翻	推翻
H0 为true	yes	I型错误: , power(推翻零假设的概率):
H0 为false	II型错误:	yes

减少显著性水平 -> 减少犯I型错误的机会 ->增加犯II型错误的机会

我们往往不知道真实的结果(H0为真还是为假),但是我们可以通过控制错误决策的概率(通过power值的设定)