独立性和一致性检验 chisq 、McNemar‘s、 kappa2 及可视化

定义

Pearson's chi squared test：

Pearson卡方检验，由著名统计学家Karl Pearson提出，主要是比较两个及两个以上样本构成比以及两个分类变量的关联性的分析。其根本思想是比较理论频数与实际频数的温和程度或拟合优度的问题。广泛应用于1）分类变量的独立性（是否具有相关性）检验中；2）是否服从某个比例的比较检验中。可应用于分类变量（categorical data）的独立性检验中，也可用于分类变量的比较检验中。这两种检验都需要用到R×C列联表（R×C contingency table），其中R表示行（Row），C表示列（Column）。最简单的情形是行与列都是二分类无序变量，这样的数据也称为四格表资料。
卡方检验使用条件：1.随机样本数据； 2.卡方检验的理论频数不能太小。 两个独立样本比较可以分以下3种情况： 1.所有的理论数T≥5并且总样本量n≥40，用Pearson卡方进行检验。 2.如果理论数T＜5但T≥1，并且n≥40，用连续性校正的卡方进行检验。 3.如果有理论数T＜1或n＜40，则用Fisher’s检验。 R×C表卡方检验应用条件： 1.R×C表中理论数小于5的格子不能超过1/5；2.不能有小于1的理论数。我的实验中也不符合R×C表的卡方检验。可以通过增加样本数、列合并来实现。

McNemar‘s test（McNemar's test for correlated proportions，也叫配对卡方检验） 和Kappa 一致性检验：

两种方法均用于配对资料率的检验，如检验两种治疗方式。二者区别：1、Kappa检验旨在评价两种方法是否存在一致性；配对χ2检验主要确定两种方法诊断结果是否有差别；2、Kappa检验会利用列联表的全部数据，而配对χ2检验只利用“不一致“数据；3、Kappa检验可计算Kappa值用于评价一致性大小，而配对χ2检验只能给出两种方法差别是否具有统计学意义的判断。Kappa值判断标准：Kappa≥0.75，说明两种方法诊断结果一致性较好; 0.4≤Kappa<0.75，说明两种方法诊断结果一致性一般; Kappa<0.4，说明两种方法诊断结果一致性较差。

使用示例

image.png

Rscript this R <输入文件> <需要检验的变量列表，来自于输入文件的列名> <输出路径> <输出文件前缀> <基线/金标准，来自于输入文件的列名，“需要检验的变量列表”均与该变量进行检验>

Rscript chisq.test.r data_merge.txt list /lustre/work/user/zhou.yang/project/10_ZL_multi/2_analysis/6_single_sample/10_shannon_diff_mutation_set/6.SVV/group_by_diff_method_compare/statist_test_result  Common_mutation Common_mutation

infile文件示例

image.png

list文件示例

image.png

代码：

args = commandArgs(T)
if (length(args) !=5){
    print("Rscript this R     ")
    q()
}

library(data.table)
library("irr")
data<-read.table(args[1],sep="\t",header=T,encoding='UTF-8',check.names=F,row.names=1)
list<-read.table(args[2],sep="\t",header=F,encoding='UTF-8',check.names=F)
len=dim(list)[1]
print(dim(data))
header<-paste("Item","X-squared","df","p-value",sep="\t")
write.table(header,file=(paste(args[3],"/",args[4],".chi-square_test_result.xls",sep="")),sep="\t",quote=F,row.names=F,col.names=F,append=F)
header<-paste("Item","X-squared","df","p-value",sep="\t")
write.table(header,file=(paste(args[3],"/",args[4],".mcnemar-square_test_result.xls",sep="")),sep="\t",quote=F,row.names=F,col.names=F,append=F)
header<-paste("Item","method","Kappa","p-value",sep="\t")
write.table(header,file=(paste(args[3],"/",args[4],".kappa-square_test_result.xls",sep="")),sep="\t",quote=F,row.names=F,col.names=F,append=F)

for(i in 1:len){
    id=as.character(list[i,])
    data1<-as.data.frame(t(data))
    traits<-as.data.frame(t(data1[which(rownames(data1)==id),]))
    traits$Group=data[,which(colnames(data)==args[5])]
    colnames(traits)<-c("Group1","Group2")
    print(dim(traits))
    #traits$Group1=as.factor(traits$Group1)
    #traits$Group2=as.factor(traits$Group2)
    traits<-na.omit(traits)
    traits <- subset(traits, traits$Group2 != "")
    #生成4联表
    four_table<-xtabs(~traits$Group1+traits$Group2,data=traits)
#独立性检验/差异检验：卡方检验
    #理论频数T＜5（chisq.test(four_table)$expected）时，进行连续性校正的卡方进行检验：correct=TURE。
    k<-"FALSE"
    judge<- chisq.test(four_table)$expected >5
    if (k %in% judge){chisq_v<-chisq.test(four_table,correct=T)}
    else{chisq_v<-chisq.test(four_table,correct=F)}
#   print(chisq.test(four_table)$expected)
#   print(chisq_v)
    chisq_va<-paste(id,chisq_v$statistic[[1]],chisq_v$parameter[[1]],chisq_v$p.value,sep="\t")
    write.table(chisq_va,file=(paste(args[3],"/",args[4],".chi-square_test_result.xls",sep="")),sep="\t",quote=F,col.names=F,row.names=F,append=T)

#一致性检：配对卡方检验（McNemar 检验）
    mcnemar_v<-mcnemar.test(four_table,correct=T)
    mcnemar_va<-paste(id,mcnemar_v$statistic[[1]],mcnemar_v$parameter[[1]],mcnemar_v$p.value,sep="\t")
    write.table(mcnemar_va,file=(paste(args[3],"/",args[4],".mcnemar-square_test_result.xls",sep="")),sep="\t",quote=F,col.names=F,row.names=F,append=T)


#一致性检：kappa检验：对于仅探讨阳性率是否相同，可采用配对卡方检验（又称McNemar检验）；如果探讨结果是否具有一致性，则采用Kappa检验。通常，在诊断、检验领域，Kappa检验更为多见。
#Kappa≥0.75，说明两种方法诊断结果一致性较好;0.4≤Kappa<0.75，说明两种方法诊断结果一致性一般;Kappa<0.4，说明两种方法诊断结果一致性较差。
    kappa_v<-kappa2(traits,'unweighted')
    #Weight参数是函数的重点，如果有多个检查项目中有一个是为0的时候需要加权检验，其他时候一般都是非加权检验。
    kappa_va<-paste(id,kappa_v$method,kappa_v$value,kappa_v$p.value,sep="\t")
    write.table(kappa_va,file=(paste(args[3],"/",args[4],".kappa-square_test_result.xls",sep="")),sep="\t",quote=F,col.names=F,row.names=F,append=T)
}

输出文件

image.png

image.png

image.png

image.png

一致性结果可视化（基于Kappa检验结果）

结果示例：

image.png

脚本

args = commandArgs(T)
if (length(args) !=4){
    print("Rscript this R    ")
    q()
}


library("ggplot2")

dat<-read.table(file=args[1],header=T,sep="\t")
data<-na.omit(dat)

data$judge <- ifelse(data$kappa.value >=0.75,"Good",ifelse(data$kappa.value >=0.4,"Moderate","Bad"))
data$judge <- as.factor(data$judge)
data$kappa <- data$kappa.value
data1<-data[data$P.value < 0.05,]
pdf(file=args[4],height=4,width=10)
ggplot(data=data) + geom_point(mapping = aes(x = factor(get(args[2]),levels=as.factor(unique(get(args[2])))), y = factor(get(args[3]),levels=as.factor(unique(get(args[3])))), size=kappa,color=judge))+theme_bw()+theme(panel.grid =element_blank())+ theme(axis.ticks= element_blank()) + scale_color_manual("Consistency (Cohen's Kappa)",values=c(Good = "red2", Moderate = "orange",Bed="Blue"))+scale_size_continuous("Kappa consistency Value")+ geom_point(data= data1,alpha=0.9,pch=21,colour="black",aes(x = factor(get(args[2]),levels=as.factor(unique(get(args[2])))), y = factor(get(args[3]),levels=as.factor(unique(get(args[3])))),size=kappa))+xlab("")+ylab("")+guides(size = guide_legend(order = 1))+theme(axis.text.x = element_text(size=12))+ theme(axis.text.x = element_text(angle = 45, hjust = 1, color = "black", size = 9),axis.title.y = element_text(size=10))+ guides(color = guide_legend(override.aes = list(size = 4)))
#ggplot(data=data) + geom_point(mapping = aes(x = factor(get(args[2]),levels=as.factor(unique(get(args[2])))), y = factor(get(args[3]),levels=as.factor(unique(get(args[3])))), size=kappa,color=judge))+theme_bw()+theme(panel.grid =element_blank())+ theme(axis.ticks= element_blank())+theme(panel.border = element_blank()) + scale_color_manual("Consistency",values=c(Good = "red2", Moderate = "orange",Bed="Blue"))+scale_size_continuous("Kappa consistency Value")+ geom_point(data= data1,alpha=0.9,pch=21,colour="black",aes(x = factor(get(args[2]),levels=as.factor(unique(get(args[2])))), y = factor(get(args[3]),levels=as.factor(unique(get(args[3])))),size=kappa))+xlab("")+ylab("")+guides(size = guide_legend(order = 1))+theme(axis.text.x = element_text(size=12))+ theme(axis.text.x = element_text(angle = 45, hjust = 1, color = "black", size = 9),axis.title.y = element_text(size=10))+ guides(color = guide_legend(override.aes = list(size = 4)))

dev.off()

使用方法：

image.png

Rscript this R    
Rscript this R <输入文件>   <输出文件>

使用示例：
Rscript kappa_Bubble_plot.r kappa.format shannon Group kappa_Bubble_plot.pdf
输入文件示例（统计分析的结果需要整理一下）：

image.png