机器学习常用评价指标实例分析：【查准率】【查全率】【F1-score】

一、问题导入

• 题目： 假如重庆交通大学准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。
• 实验结果如下：
  算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
  算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
  经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。
• 问题： 请问算法1和算法2的 “ 查准率 ” “ 查全率 ” “ F1-score ” 等分别是多少？你认为哪个更优秀？

二、概念理解

• 首先引入分类结果混淆矩阵概念：

真实情况	预测结果
	正例	反例
正例	TP(true positive)	FN(false negative)
反例	FP(false positive)	TN(true negative)

• 样本总数 = TP+FP+FN+TN；
• 查准率： 预测为正例的实例中真实正例的比例；
  $$R=\frac{TP}{TP+FN}$$
• 查全率： 真实正例被预测为正例的比例；
  $$P=\frac{TP}{TP+FP}$$
• F1-score： 度量一个模型的好坏，综合考虑查准率和查全率。
  $$F1=\frac{2RP}{R+P}=\frac{2TP}{样例总数+TP-TN}$$

一般情况下，查准率高，查全率就会偏低，反之，查准率低，查全率就偏低。

三、问题解决

算法一：

• 混淆矩阵如下：

真实情况	预测结果
	男	女
男	78	2
女	4	16

• 查准率：
  $$P=\frac{78}{78+2}=0.975$$
• 查全率：
  $$R=\frac{78}{78+4}=0.9512$$
• F1-score：
  $$F1=\frac{2\times 78}{100+78-16}=0.963$$

算法二：

真实情况	预测结果
	男	女
男	80	0
女	8	12

• 查准率：
  $$P=\frac{80}{80+0}=1$$
• 查全率：
  $$R=\frac{80}{80+8}=0.91$$
• F1-score：
  $$F1=\frac{2\times 80}{100+80-12}=0.952$$

总结：

评价指标	算法 1	优秀度	算法 2
查准率	0.975	＜	1
查全率	0.9512	＞	0.91
F1-score	0.963	＞	0.952

• 从查准率评价指标来看，算法 2 都要优于算法 1，从查全率和 F1 度量评价指标来看，算法 1 都要优于算法 2；
• 总的来说，算法 2 更好。

四、参考资料

[1] 机器学习算法的常用评价指标——查准率，查全率，F1-score
[2] 【机器学习】(周志华–西瓜书) 真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）