（精确度，召回率，真阳性，假阳性）ACC、敏感性、特异性等 ROC指标

1、概念

	金标准（标准集）
预测算法（预测集）		验证存在（T）	验证不存在（F）	合计
	预测存在（P）	预测为正，真实为正（TP）	预测为正，真实为负（FP）	P（预测为正样本）
	预测不存在（N）	预测为负，真实为正（FN）	预测为负，真实为负（TN）	N（预测为负样本）
	合计	T（验证为正样本）	F（验证为负样本）	所有样本数（P+N或者T+F）

简化后：

	标准集
测试集		正样本	负样本	合计
	预测正样本	TP	FP	P
	预测负样本	FN	TN	N
	合计	T	F	P+N或者T+F

准确率（Accuracy）：Acc = ( TP + TN ) / ( P +N )

精确度( precision )：TP / ( TP+FP ) = TP / P  

召回率（recall）：TP / (TP + FN ) = TP / T

 

真阳性率（True positive rate）：TPR = TP / ( TP+FN ) = TP / T  （敏感性 sensitivity）

真阴性率（TNR：true negative rate）：TNR= TN / (FP + TN) （特异性：specificity），描述识别出的负例占所有负例的比例 

假阳性率（False positive rate）：FPR = FP / ( FP + TN ) = FP / F  

假阴性率 (False Negative Rate）：FNR = FN /（TP + FN） 

 

F-measure：2*recall*precision / ( recall + precision )

ROC曲线：FPR为横坐标，TPR为纵坐标

PR曲线：recall为横坐标，precision 为纵坐标

=====概念解释=============

敏感性 Sensitivity
敏感性又称真阳性率，就是发病之后，你的诊断方法对疾病的敏感程度（识别能力）。

敏感性越高，漏诊概率越低。

特异性 Specificity
特异性又称真阴性率，不发病（我们这里称之为健康）的特征是有别于发病的特征的，我们利用这些差异避免误诊，那么诊断标准对于这些差异利用的如何就用特异性来表示。

特异性越高，确诊概率越高。
========================

从这个表格中可以引出一些其它的评价指标： 
- ACC：classification accuracy，描述分类器的分类准确率 
计算公式为：ACC=(TP+TN)/(TP+FP+FN+TN) 
- BER：balanced error rate 
计算公式为：BER=1/2*(FPR+FN/(FN+TP)) 
- TPR：true positive rate，描述识别出的所有正例占所有正例的比例 
计算公式为：TPR=TP/ (TP+ FN) 
- FPR：false positive rate，描述将负例识别为正例的情况占所有负例的比例 
计算公式为：FPR= FP / (FP + TN) 
- TNR：true negative rate，描述识别出的负例占所有负例的比例 
计算公式为：TNR= TN / (FP + TN) 
- PPV：Positive predictive value 
计算公式为：PPV=TP / (TP + FP) 
- NPV：Negative predictive value 
计算公式：NPV=TN / (FN + TN) 
其中TPR即为敏感度（sensitivity），TNR即为特异度（specificity）。

2、测试例子 

十次十折后计算的预测标签

计算例子，比如第10次计算，通过excel筛选器，

筛选预测pda=1,label =1,共TP = 53个病例.

筛选预测pda=1,label =0共FP = 4个病例.

筛选预测pda=0,label =1,共FN = 11个病例.

筛选预测pda=0,label =0,共TN = 44个病例.

	金标准（标准集）
预测算法（预测集）		验证存在（T）	验证不存在（F）	合计
	预测存在（P）	预测为正，真实为正（TP=53）	预测为正，真实为负（FP=4）	P=57（预测为正样本）
	预测不存在（N）	预测为负，真实为正（FN=11）	预测为负，真实为负（TN=44）	N=55（预测为负样本）
	合计	T=64（验证为正样本）	F=48（验证为负样本）	所有样本数（P+N或者T+F=112）

 

 

 

 

 

 

 

 敏感性 （sensitivity） TPR = TP / ( TP+FN ) = TP / T  =0.828125

特异性（specificity） TNR= TN / (FP + TN) = 44/48 = 0.9166666666666667

准确率（Accuracy）：Acc = ( TP + TN ) / ( P +N ) = （53+44 ）/112 = 0.8660714285714286