一、概况
基本概念:Permutation test 置换检验是Fisher于20世纪30年代提出的一种基于大量计算(computationally intensive),利用样本数据的全(或随机)排列,进行统计推断的方法。
优势在于小样本检验:研究表明,当样本含量较大时, Permutation test得到的结果与经典的参数检验(t 检验、F 检验)近似。当样本含量较小时,Permutation test要优于参数检验,并且其检验效能也高于秩和检验。
原理:在具体使用上它和Bootstrap Methods类似,通过对样本进行顺序上的置换,重新计算统计检验量,构造经验分布,然后在此基础上求出P-value进行推断。
二、 实例
实验目的:验证加入某种生长素后拟南芥的侧根数量会明显增加。
实验设计:A组是加入某种生长素后,拟南芥的侧根数量;B是不加生长素时,拟南芥的侧根数量(均为假定值)。
A组侧根数量(共12个数据):24 43 58 67 61 44 67 49 59 52 62 50
B组侧根数量(共16个数据):42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28
检验方法:我们来用假设检验的方法来判断生长素是否起作用。
我们的零假设H0为:加入的生长素不会促进拟南芥的根系发育。在这个检验中,若H0成立,那么A组数据的分布和B组数据的分布是一样的,A组数据和B组数据不存在显著差异,也就是服从同个分布。
接下来构造检验统计量——A组侧根数目的均值同B组侧根数目的均值之差。
statistic:= mean(Xa)-mean(Xb)
对于观测值有 Sobs:=mean(Xa)-mean(Xb)= (24+43+58+67+61+44+67+49+59+52+62+50)/12- (42+43+65+26+33+41+19+54+42+20+17+60+37+42+55+28)/16=14
我们可以通过Sobs在置换分布(permutation distribution)中的位置来得到它的P-value。
如果p<0.05,那么说明在原假设成立的情况下,出现这个Sobs值的概率是很低的(往极限讲的话在原假设成立的情况下是不会出现这个sob值的,那么既然现在这个值出现的,就可以拒绝原假设),因此拒绝原假设,认为A、B两组数据存在显著差异,因此加入生长素会促进拟南芥的根系发育;
如果p>0.05,那么说明在原假设成立的情况下,出现这个Sobs值的概率很大,原假设成立,认为A、B两组数据不存在显著差异,因此加入生长素不会促进拟南芥的根系发育。
检验过程:
Permutation test的具体步骤是:
1.将A、B两组数据合并到一个集合中,从中挑选出12个作为A组的数据(X'a),剩下的作为B组的数据(X'b)。
Group:=24 43 58 67 61 44 67 49 59 52 62 50 42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28
挑选出 X'a:=43 17 44 62 60 26 28 61 50 43 33 19
X'b:=55 41 42 65 59 24 54 52 42 49 37 67 67 20 42 58
2.计算并记录第一步中A组同B组的均值之差。Sper:=mean(X'a)-mean(X'b)= -7.875
3.对前两步重复999次(重复次数越多,得到的背景分布越”稳定“)
这样我们得到有999个置换排列求得的999个Sper结果,这999个Sper结果能代表拟南芥小样本实验的抽样总体情况。
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
def exact_mc_perm_test(xs, ys, nmc):
n, k = len(xs), 0
diff = np.abs(np.mean(xs) - np.mean(ys))
zs = np.concatenate([xs, ys])
list=np.empty(nmc)
for j in range(999):
np.random.shuffle(zs)
list[j]=np.abs(np.mean(zs[:n]) - np.mean(zs[n:]))
k += diff < np.abs(np.mean(zs[:n]) - np.mean(zs[n:]))
return list
xs = np.array([24,43,58,67,61,44,67,49,59,52,62,50])
ys = np.array([42,43,65,26,33,41,19,54,42,20,17,60,37,42,55,28])
list_a=exact_mc_perm_test(xs, ys, 999)
print(list_a)
sns.set_palette("hls") #设置所有图的颜色,使用hls色彩空间
sns.distplot(list_a,color="r",bins=30,kde=True) #kde=true,显示拟合曲线
plt.title('Permutation Test')
plt.xlabel('difference')
plt.ylabel('distribution')
plt.show()
如上图所示,我们的观测值 Sobs=14 在抽样总体右尾附近,说明在零假设条件下这个数值是很少出现的。在permutation得到的抽样总体中大于14的数值有9个,所以估计的P-value是9/999=0.01
最后还可以进一步精确P-value结果(做一个抽样总体校正),在抽样总体中加入一个远大于观测值 Sobs=14的样本,最终的P-value=(9+1)/(999+1)=0.01
结果表明我们的原假设不成立,加入生长素起到了促使拟南芥的根系发育的作用。
参考文献:
http://www.iikx.com/news/statistics/1824.html
https://www.plob.org/article/3176.html