ROC曲线和PR曲线

1.ROC曲线和PR曲线是什么？

ROC曲线和PR曲线是用来评估机器学习算法性能的重要指标。  

举一个例子：当分类算法在过滤垃圾邮件时，会有四种结果：对合法邮件保留，也可能产生失误，过滤了合法邮件；还有可能保留了一些垃圾邮件，最后就是正确过滤了垃圾邮件。 

在机器学习中，有一个普遍适用的称为混淆矩阵（confusion matrix）的工具，它可以帮助人们更好地了解分类中的错误。

		预测结果
		+1	-1
真实结果	+1	真正例(TP)	伪反例(FN)
	-1	伪证例(FP)	真反例(TN)

真正例(True Positive)：指正确分类成为正的样本数，实际为正，预测为正

伪反例(False Positive): 指错误分类为正的样本数，实际为负，预测为正

伪反例(False Negative):指错误分类为负的样本数，实际为正，预测为负 

真反例(True Negative):指正确分类为负的样本数，实际为负，预测为负

• 
• 
• 
• 

在ROC曲线中，以FPR为x轴，TPR为y轴，FPR指实际负样本中被错误预测为正样本的概率。TPR指实际正样本中被预测正确的概率。

ROC曲线：

1. 将模型预测结果从高到低排序，将每次概率值依次作为阈值，那

么就可以得到多个混淆矩阵，对应 (TPR1 ， FPR1),…,(TPRn ， FPRn) 。

2. 以 FPR 为横坐标， TPR 为纵坐标，画出曲线。

在PR曲线中，以Recall（为x轴，Precision为y轴。Recall与TPR的意思相同，而Precision指正确分类的正样本数占总正样本的比例。

2.试用python绘制PR曲线：

 

import matplotlib
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve

plt.xlabel('Recall')
plt.ylabel('Precision')
 
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])

precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
plt.plot(precision, recall)
plt.show()