FWER和FDR(False Discovery Rate)

在谈FDR之前，我们先来回顾一下这一概念产生的历程。随着测序技术的发展，对于组学数据进行大规模的假设检验成为了可能。而最初通过取一个简单的cutoff(p value < 0.05 或 p value < 0.01)判断是否显著出现了很大的问题。

举一个简单的例子，假设我们有两组数据。一组是52个肝癌病人的样本，另一组是50个正常人的样本。我们在两组样本上都测了10000个基因的表达，这时我们想看究竟哪些基因在癌症病人中是特异表达的。一个简单直接的方法就是做t-test。假如我们设定显著性水平。我们知道p value是犯第一类错误的概率。对于这个案例，如果我们简单的对每个基因做t-test，我们会错误的把500个并不特异表达的基因当作特异表达，这样的结果显然是无法接受的。

下面我们首先引入如下的表格，这个表格代表了做m次假设检验可能出现的情况的统计。下文的公式中会利用其中的一些数值。

possible outcomes.png

FWER

为了解决这一问题，一个名叫family-wise error rate（FWER）的概念被提出。FWER的定义如下：

从字面上理解，FWER衡量的是第一类错误个数大于1的概率。我们希望FWER尽量小或者控制在某个范围，这样才能保证我们做multiple hypothesis的结果的可靠性。Bonferroni提出了一个方法，可以保证。

Bonferroni's Procedure

Bonferroni的想法非常简单，如果对p value的要求非常严格，即非常小的p value才能通过检验，发生第一类错误的概率自然降低了。Bonferroni的做法是将显著性水平控制在。下面我们证明在这种情况下，。

其中为正确的原假设的数量，m为检测的次数。

但是Bonferroni的方法也有很大的弊端，由于这一方法对于p value的要求过于严格，会导致很多miss findings,也即犯第二类错误的概率增大。

Holm's Procedure

为了解决Bonferroni的方法的弊端，Holm提出了新的方法。Holm的思想在于在放松对p value的要求的前提下，保证

Holm的具体做法如下：
Step1:将p value从小到大排序，, 他们相应的原假设为
Step2: 令为满足的最小索引
Step3: 拒绝原假设
Step4: 若, 没有原假设会被拒绝

下面我们来证明Holm的方法也可以保证
Step1:我们假设 为正确的原假设的集合，中包含个原假设
Step2: 我们令为第一个被拒绝的原假设正确的检验，则为被拒绝的原假设错误的检验，显然我们有，进一步地，我们有
Step3: 因为第个假设被拒绝，则，进一步地，我们发现不等式右边最多等于
Step4: 我们定义一个随机变量, ,我们可以得到

FDR

尽管Holm对Bonferroni的方法进行了一定的修正，但FWER在假设检验次数较多的时候还是过于保守。这时一个新的概念——False Discovery Rate（FDR）被提出。

在介绍FDR之前，我们先引入False positive proportion——Fdp的概念。Fdp的概念非常简单，就是在认为显著的检验中，第一类错误的比例。定义如下：

FDR的概念正是基于Fdp的，FDR为Fdp的期望，定义如下，

BH procedure

Step1: 将p value从小到大排序，, 他们相应的原假设为
Step2: 对于给定的, 找到最大的使得
Step3:拒绝原假设：
在BH procedure下，可以保证

Reference:
Computer Age Statistical Inference——Algorithms, Evidence and Data Science Chapter15
https://www.pnas.org/content/100/16/9440.full