机器学习--准确率、精确率、召回率、F1、ROC、AUC

准确率就是所有预测正确的占总的比重，即(TP+TN)/(TP+FP+FN+TN)

精确率（Precition）是指在所有系统判定“真”的样本中，确实是真的占比，即TP/(TP+FP)

召回率（Recall）是指在所有确实为真的样本中，被判定为“真的”占比，即TP/(TP+FN)

TPR的定义和召回率是一样的

FPR就是指所有确实为“假”的样本中，被误判为真的样本，即TP/(TP+TN)

F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。

公式转化后为

ROC曲线，接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性。下图是ROC曲线例子。

横坐标：1-Specificity，伪正类率(False positive rate，FPR，FPR=FP/(FP+TN))，预测为正但实际为负的样本占所有负例样本的比例；

纵坐标：Sensitivity，真正类率(True positive rate，TPR，TPR=TP/(TP+FN))，预测为正且实际为正的样本占所有正例样本的比例。
AUC值， 被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围一般在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

 AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。
 

转载：链接