假设检验中统计功效、效应大小及样本量

1、统计功效（statistical power）

当假设检验结果不显著时，这时我们不能立刻接受原假设，因为可能是统计功效过低。统计功效是什么意思呢?它代表当备择假设为真的情况下，可以正确拒绝原假设的概率，即1-β。它代表我们通过假设检验可以正确识别出目标的概率。(熟悉机器学习的同学应该知道，类似于评估机器学习分类模型效果时，有个指标叫做召回率（recall），代表实际为阳性的所有样本中，通过模型可以被识别出的比例。这个统计功效即类似于召回率。)如果结果不显著，样本不一定是阴性，也可能是统计功效过低，而无法识别出来。

2、统计功效影响因素

影响统计功效（1-β）的因素有显著性水平α，样本量大小N，标准化的效应大小EZ。这四个要素是相辅相成的，只要确定了其中三个要素，另外一个就可以唯一确定。

• 显著性水平α
  α某种意义上可以代表检验的严苛程度，其他条件不变的情况下，α越小越严苛，目标样本越不容易识别出来，因此统计功效越小。
• 样本量大小N
  其他条件不变情况下，样本量越大，统计功效越大。
• 效应大小EZ
  其他条件不变情况下，效应越大，代表样本与总体之间的差异越大，越容易被检验出来，因此统计功效越大。

3、功效分析（power analysis）

我们了解了影响统计功效(1-β)的三个因素，因此，在确定了我们想要达到的统计功效、显著性水平和效应大小后，就可以估算需要的样本量。利用统计功效估算样本量的方法称为功效分析。

功效分析的难点在于如何确定效应大小。效应大小是一个抽象的概念，它在数学上到底是什么形式取决于具体的统计测试。比如说，相关分析、t检验、卡方检验的效应大小分别是：相关系数、均值差、OR值（比值比）。在估算样本量时，我们还没有开始试验，又如何确定效应大小呢？常用的有两种方法：

• 试点试验
  用少量样本进行试点试验，利用试点试验的结果估算效应值大小。
• 利用相近研究数据进行经验估算
  寻找相近的研究数据，或利用某些经验值，合理估算效应值大小。

4、提升统计功效的方法

• 1、增加数据量
  某些试验是两个或以上组别的试验，可以尝试增加容易获得样本的组别的数量，但是这个方法也有限度，通常情况下一个组别的数量是另一个组别数量的两倍，再增加数量就没有多少作用了；此外，试验中尽量减少样本的损失也是增加数据量的一个方法。
• 2、放宽显著性水平α
  这个方法会增加第一类错误的概率，因此，较少使用
• 3、增加效应大小
  3.1 增强干预的效果
  如果我们的研究是关于某种干预（如药物、物理治疗、行为训练等）的效果，一种简单但很有效的方法是使用更强的干预（比如更大剂量的药物、更长时间的训练等）。
  3.2 对极端群体作比较
  在一些研究中，我们无法直接控制感兴趣的自变量。这种情况往往发生在观察性或回顾性研究中，由于实验者不能主动操纵自变量，因而上一条方法就不适用了。
  如果自变量是一个在某个范围内可以连续取值的变量（如年龄、血糖浓度等），为了增强效应大小我们可以采取对自变量“取两头、弃中间”的办法，从而放大不同个体间的差异。
  比如我们想探索肥胖人群与正常体重人群的学习能力是否存在差异。
  大家知道，一个人肥胖与否可以通过体重指数(body mass index, 缩写为BMI)来表示。如果BMI在18到25之间为正常；25到30之间为超重；30以上为肥胖。为了尽可能扩大效应大小，我们只选择了BMI在18-25之间与30以上的受试者，并对两者进行比较，而没有使用整个BMI范围的受试者。
  3.3 引进控制变量
  很多时候，尽管我们研究真正感兴趣的只有一两个自变量，我们依然会收集它们以外的许多其他变量的信息，并把这些变量包括在我们的统计分析中。这些变量就是我们所说的控制变量。
  虽然我们的出发点并不是研究这些变量，但是它们可能可以消除数据中与我们真正感兴趣的自变量无关的噪音，从而增强我们能观察到的效应大小。
  例如，我们想研究一种新型的受体拮抗剂对抑郁症状的疗效。由于这种药物与某些激素存在相互作用，导致该药物对女性的作用大大高于男性。如果我们不将性别的因素考虑进来，当我们比较干预组和对照组时，由于两组受试者中男性的存在，平均的疗效差异就会被拉低，统计功效也随之降低了。如果我们将性别作为控制变量，药物对女性的疗效就更容易表现为具有统计学显著性的结果了。
  3.4 采用重复测量或组内设计
  在可行的情况下，采用重复测量（在同一组受试者上分别实施干预和对照）设计能够有效降低组间设计（在不同的受试者上进行不同的干预）中由于个体不同所带来的随机噪音，从而也能增强效应大小，进而提高统计功效。