统计学习04：假设检验（t检验为例）与P值

假设检验Hypothesis Testing是数理统计学中根据假设条件由样本推断总体的一种方法。采用反证法的思路，主要根据概率分布的小概率事件(0.05)进行决策；其中概率分布基本是以正态分布为基础。

要点一、假设检验一般思路

Hypothesis Testing

• 1、清楚自己的问题是什么？预期想得出什么结论？
  例如两种药是否存在药效差异、自变量与因变量是否存在回归关系....

始终要牢记的是：假设检验回答的问题是有没有，存不存在关系：而不能衡量这种关系有多大。

• 2、做出两种假设：零假设（null hypothesis，H0）与备择假设（alternative hypothesis，H1）
  零假设与备择假设相反，一般研究目的是为了证明原假设的错误，即得到备择假设的结论。
  例如：实验预期希望两种药存在药效差异，则H0：μ1-μ2=0；H1：μ1-μ2≠0

一般形如H0：μ1-μ2=0的称为双侧检验，而>、<之类的零假设称为单侧检验。一般来说双侧检验较为常见，下面也主要介绍这种方法。

one or two tailed test

• 3、根据原始数据计算，其在零假设概率分布情况下的统计量值（t值、Z值、F值等）
  根据问题性质选择合适的概率检验方法，从而计算出对应的统计量值；因此统计量值针对不同的情况有不同的计算方法。
• 4、根据计算得到的统计量值，利用统计软件，可以知道对应的p值是多少
  也可以先确定一个适当的显著性水平(0.05、0.001....)，并计算出其临界值， 与我们计算得到的统计量值作比较，进行判断。

• 5、根据第四步比较结果，若p值小于预期显著性水平(α，一般设置为0.05)，则认为统计量离原假设分布很远，是小概率事件，则拒绝原假设，从而就接受备择假设。

  
  
  

  make decision

要点二、以t检验示例演示上述假设检验思路

• t检验基于t分布，常见的t检验有如下图的三种，不过我觉得第三种配对设计可能更常用（零假设：差值是否为零），下面介绍的例子就是配对设计

  
  
  

  三种t检验

• 例子：将大白鼠配成8对，每对分别饲以正常饲料和缺乏维生素E饲料，测得两组大白鼠肝中维生素A的含量，试比较两组大白鼠中维生素A的含量有无差别。数据如下

  
  
  

  data
  
  

  （1）预期希望两组大白鼠中维生素A的含量存在差异
  （2）H0: μd=0，H1: μd≠0，α=0.05，双侧检验
  （3）计算t统计量

  
  
  

  formula
  
  
  

  calculate

如上过程，计算了自由度为7的t分布情况下的t值。公式了解即可，不同的方法有不同的公式，这些交给统计软件做即可。

（4）查t分布表（双侧），t 0.05/2, 7 =2.365<4.2

t临界值表

（5）做决策：按 α＝ 0.05显著性水平，拒绝H0，接受H1,可以认为两种饲料喂养的两组大白鼠中维生素A的含量有差别。再根据均值，判断正常饲料组比缺乏维生素Ｅ饲料组的含量要高。

如第五步，虽然做的是双侧检验。但根据有差异的决策，以及均值差异，一样可以得到单侧检验的结果，也更方便。此外均值差异大小为0.01，p值也很小，也不要诧异。因为始终记住假设检验回答的问题是有没有，存不存在关系：而不能衡量这种关系有多大。此时使用置信区间相对P值来说，反应的信息就多一些了。

捎带补充下关于t检验的应用条件

• t分布基于正态分布，因此用于t检验的数据要符合正态分布。对于上面的例子来说，是两组的差值要符合正态分布。
• 若数据不符合t分布的正态假设，存在严重偏态时，可使用非参数的Wilcoxon秩和检验方法代替。具体不做记录了，之后有用到再回顾下。

要点三、p值与两类错误

• 如上假设检验过程，在第四步比较时，t统计量是根据数据与公式计算的，即固定的。而显著性水平是我们自己根据经验设计的(虽然一般来说都是0.05)，直接影响第五步的决策结论。

• 简单来说就是什么概率情况下，可以认为是零假设分布的小概率事件。即使是0.05的显著性水平，但也不能保证结论一定是正确的，在假设检验中常常有两类错误。

  
  
  

  two types of error

• Ⅰ类错误：拒绝原假设时可能会犯的错误，即两组水平实际没有差异，但决策认为有差异；
  也称为假阳性False positive，联想到医学中的误诊，更好理解；

• Ⅱ类错误：接受原假设时可能会犯的错误，即两组水平实际有差异，但决策认为没有差异；

• 如下图这两类错误是此消彼长的关系。例如随着显著性水平α数值降低(critical value线右移)，固然有很多决策为拒绝原假设(H0没病)的事件本身就是备择假设(有病，且症状严重)，但是未能拒绝原假设的事件，有很多其实是属于备择假设的（有病被认为没病，可能症状比较轻）
  也称为假阴性True negative，联想到医学中的漏诊，更好理解；
  

  

  relation

• p值其实就是Ⅰ类错误概率，例如α=0.05，可以理解为在100次拒绝原假设事件中，有5次是错误的拒绝了，即误诊。

• （1-Ⅱ类错误β）则称为把握度power。结合Ⅱ类错误的概念，把握度就是指能够正确诊断出疾病的概率。把握度越高，即有很高的把握做出有意义的统计学结论。通常不低于0.8。
  从这里可以看到p值与把握度分别是基于决策拒绝原假设，而真实情况是TRUE、FALSE的两种情况。

通常在做组间比较计算样本量时，可以设定p值与把握度，然后根据相应的效应值(如组间差值)计算所需的样本量，也就是功效分析的过程
如上两类错误的2*2定义表，可类比机器学习中的二分类混淆矩阵，例如灵敏度（sensitive）、精确率（Precision）等概念。此外还有ROC曲线，在此提一下，以后有机会再学习下。