统计功效(power)

定义 & 描述

• 别名 敏感度(sensitivity)
• 目的：反映一个检验检测出指定大小效应的能力
• 定义
  • 在假设检验中， 拒绝原假设后， 接受正确的替换假设的概率
  • 假设检验拒绝的漏报率：用同样的检验方法，对样本重采样/重复实验后计算检验值，统计检验值 > 0.05(显著阈值)的占比
  • 假设检验的“正确通过率”，1 - 漏报率
  • 不犯第二类错误的概率
  • 当AB两组差异真的存在时，我们能正确判断的概率
• 计算：$1-\beta =\Phi (z-z_{1-\alpha /2})+\Phi (-z-z_{1-\alpha /2})$
  • $z=\frac{{\mu }_A-{\mu }_B}{\sigma \times \sqrt{\frac{1}{n_A}+\frac{1}{n_B}}}$
  • $k=\frac{n_A}{n_B}$
  • $\Phi$：标准正态分布下某个$X$值对应的概率面积
  • $\alpha$：第一类错误
  • $\beta$：第二类错误
  • $1-\beta$：统计功效
• 结论
  • 80%的功效是可接受的，即$\beta \le 0.2$
  • 假设检验失败并不说明两个群组之间不存在差异，而是说：如果差异确实存在，这个差异太小，以至于无法在这个规模的样本中检测到
  • 一般情况下：统计结果会同时考虑$\alpha$（置信度）和$\beta$（功效）
• 描述
  • 假设检验的两类错误
    • 弃真/第一类错误：$\alpha$错误。实验本身没有效应，但我们觉得有效应
    • 纳伪/第二类错误：$\beta$错误。实验本身有效应，但是我们误以为没有

	原假设对	原假设错
接受原假设	1.1 接受对的（没毛病）	1.2 接受了错的(纳伪，第二类错误，$\beta$)
拒绝原假设	1.3 拒绝了对的（弃真，第一类错误，$\alpha$）	1.4 拒绝错的（没毛病）

现实意义

• 若统计功效低
  • $\beta$值高，则纳为的可能性大
  • 当AB两组差异真的存在时，我们能正确判断的概率降低，判断错误的概率上升
  • 结果显示不显著，但其实真实情况是差异显著——我们错过了真实效应
• 解决方法
  • 优化实验方案
  • 扩大样本量

影响因素

• 检验的类型
• 样本容量
• $\alpha$水平
• 单侧双侧
• 抽样误差

适用场景

• 医学
• 生物学
• 生态学
• 人文社会科学
• ABTest

Reference

• 百度百科
• 知乎专栏：AB测试里的统计功效（Power）是个啥？
• powerandsamplesize.com
• 如何计算统计功效