分类器常用评价指标

基本概念

	预测为正样本	预测为负样本
标记为正样本	TP (true positive)	FN (false negative)
标记为负样本	FP (false positive)	TN (true negative)

计算公式：

Accuracy：A=(TP+TN)/(TP+FN+FP+TN)

Precision：P=TP/(TP+FP)

Recall：R=TP/(TP+FN)

F1-score：2/(1/P+1/R)  = 2PR/(P+R)

1、accuracy

accuracy也就是我们中文说到的：准确率，定义为：预测结果正确的样本个数占样本总数的概率。accuracy是最常见也是最基本的评价指标。但在数据不平衡的情况下，评价效果很差。举个例子：

100个样本中，99个为负例，1个为正例，分类器只需要把所有的样本标记为负例，准确率就高达99%，可是该模型却是非常差劲的，因为其基本不具有分类效果，在下面的标准中我们会对该评价进行纠正

2、precision

 precision就是我们中文说到的：精确率，在信息检索领域也被称为查准率，定义为：在预测为正的样本中，有多少是真正的正样本。在上面的例子中，精确率为0。 

3、recall

recall就是我们中文说到的：召回率，在信息检索领域也被称为查全率，定义为： 在标记为正的样本中，有多少被预测为正。在上面的例子中，召回率为0。 

4、F1-Score 

F1值是对准确率和召回率的综合考虑，因为只有在特定的情况下，我们才会只考虑一个指标。比如在检索系统中，用户可能想得到更多的结果， 对匹配程度有较大的容忍度，那么该模型的准确率就会比较小，但是召回率就非常大；而在罪犯评判系统中，我们可能希望，对真正有罪的人判刑，因此就要求该模型准确率非常大，召回率可以容忍。除了这些情况下，我们可能就希望准确率和召回率都比较令人满意，F1值就可以对这两个指标进行综合，进而帮助我们进行模型的选择。

5、ROC-AUC 

ROC：receiver operating characteristic curve，受试者工作特征曲线，AUC：the area under the ROC curve

 ROC曲线是以true positive rate （真阳性率、灵敏度）为纵坐标和 false positive rate（假阳性率、1-特异度）为横坐标绘制的，如图一个样例：

一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting，曲线下的面积(AUC)越大，或者说曲线更接近左上角（true positive rate=1， false positive rate=0），那么模型就越理想，越好

6、PRC

PRC：precision recall curve，精确率召回率曲线

PRC曲线是以召回率为横坐标，准确率为纵坐标绘制的，如图一个样例：

一般来说，曲线下的面积(AUC)越大，或者说曲线更接近右上角（precision=1， recall=1），那么模型就越理想，越好；还有很重要的一点，该指标，在评价的过程中，既考虑了检索结果的覆盖度，又考虑了检索结果的排序情况

该图非常形象的表明了这一点，在绘图的过程中，你对于检索结果的PR值的计算，其实是将检索结果中，正确文档的顺序也考虑在内了，正确的文档，越靠前，那么P-R曲线下面的面积就越大。