统计功效(power)

定义 & 描述

  • 别名 敏感度(sensitivity)
  • 目的:反映一个检验检测出指定大小效应的能力
  • 定义
    • 在假设检验中, 拒绝原假设后, 接受正确的替换假设的概率
    • 假设检验拒绝的漏报率:用同样的检验方法,对样本重采样/重复实验后计算检验值,统计检验值 > 0.05(显著阈值)的占比
    • 假设检验的“正确通过率”,1 - 漏报率
    • 不犯第二类错误的概率
    • 当AB两组差异真的存在时,我们能正确判断的概率
  • 计算: 1 − β = Φ ( z − z 1 − α / 2 ) + Φ ( − z − z 1 − α / 2 ) 1 - \beta = \Phi(z - z_{1 - \alpha/2}) + \Phi(-z - z_{1 - \alpha/2}) 1β=Φ(zz1α/2)+Φ(zz1α/2)
    • z = μ A − μ B σ × 1 n A + 1 n B z = \frac{\mu_A - \mu_B}{\sigma \times \sqrt{\frac{1}{n_A} + \frac{1}{n_B}}} z=σ×nA1+nB1 μAμB
    • k = n A n B k = \frac{n_A}{n_B} k=nBnA
    • Φ \Phi Φ:标准正态分布下某个 X X X值对应的概率面积
    • α \alpha α:第一类错误
    • β \beta β:第二类错误
    • 1 − β 1 - \beta 1β:统计功效
  • 结论
    • 80%的功效是可接受的,即 β ≤ 0.2 \beta \le 0.2 β0.2
    • 假设检验失败并不说明两个群组之间不存在差异,而是说:如果差异确实存在,这个差异太小,以至于无法在这个规模的样本中检测到
    • 一般情况下:统计结果会同时考虑 α \alpha α(置信度)和 β \beta β(功效)
  • 描述
    • 假设检验的两类错误
      • 弃真/第一类错误: α \alpha α错误。实验本身没有效应,但我们觉得有效应
      • 纳伪/第二类错误: β \beta β错误。实验本身有效应,但是我们误以为没有
原假设对 原假设错
接受原假设 1.1 接受对的(没毛病) 1.2 接受了错的(纳伪,第二类错误, β \beta β)
拒绝原假设 1.3 拒绝了对的(弃真,第一类错误, α \alpha α 1.4 拒绝错的(没毛病)

统计功效(power)_第1张图片

现实意义

  • 若统计功效低
    • β \beta β值高,则纳为的可能性大
    • 当AB两组差异真的存在时,我们能正确判断的概率降低,判断错误的概率上升
    • 结果显示不显著,但其实真实情况是差异显著——我们错过了真实效应
  • 解决方法
    • 优化实验方案
    • 扩大样本量

影响因素

  • 检验的类型
  • 样本容量
  • α \alpha α水平
  • 单侧双侧
  • 抽样误差

适用场景

  • 医学
  • 生物学
  • 生态学
  • 人文社会科学
  • ABTest

Reference

  • 百度百科
  • 知乎专栏:AB测试里的统计功效(Power)是个啥?
  • powerandsamplesize.com
  • 如何计算统计功效

你可能感兴趣的:(#,统计)