Precision、Recall、F1-Measure、mAP、IOU

在信息检索和自然语言处理中经常会使用这些参数，下面简单介绍如下：

1. 准确率与召回率（Precision & Recall）

我们先看下面这张图来加深对概念的理解，然后再具体分析。其中，用P代表Precision，R代表Recall

image

一般来说，Precision 就是检索出来的条目中（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。

下面这张表介绍了True Positive，False Negative等常见的概念，P和R也往往和它们联系起来。

2.png

我们当然希望检索的结果P越高越好，R也越高越好，但事实上这两者在**某些情况下是矛盾的。比如极端情况下，我们只搜出了一个结果，且是准确的，那么P就是100%，但是R就很低；而如果我们把所有结果都返回，那么必然R是100%，但是P很低。

因此在不同的场合中需要自己判断希望P比较高还是R比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。

2. F1-Measure

前面已经讲了，P和R指标有的时候是矛盾的，那么有没有办法综合考虑他们呢？我想方法肯定是有很多的，最常见的方法应该就是F-Measure了，有些地方也叫做F-Score，其实都是一样的。

F-Measure是Precision和Recall加权调和平均：

3.png

当参数a=1时，就是最常见的F1了：

4.png

很容易理解，F1综合了P和R的结果，当F1较高时则比较说明实验方法比较理想。

3. AP和mAP(mean Average Precision)

mAP是为解决P，R，F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标，可以看考察下图，其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线

5.png

可以看出，虽然两个系统的性能曲线有所交叠但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。

从中我们可以 发现一点，如果一个系统的性能较好，其曲线应当尽可能的向上突出。

更加具体的，曲线与坐标轴之间的面积应当越大。

最理想的系统， 其包含的面积应当是1，而所有系统的包含的面积都应当大于0。这就是用以评价信息检索系统的最常用性能指标，平均准确率mAP其规范的定义如下:(其中P，R分别为准确率与召回率)

6.png

4. IOU
交并比（Intersection-over-Union，IoU），目标检测中使用的一个概念，是产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。

iou_equation.png

个人总结：
mAP是准确率-召回率都相关的全局指标
IOU是只关注准确率的指标

摘自：
P/R/F1-Measure
P/R/F1-Measure/mAP
IOU