【目标检测】评价指标-分类汇总【持续更新】

一、检测-正确-相关评价指标

1、准确率（Accuracy）：

分对的样本数除以所有的样本数 ，即：准确（分类）率 = 正确预测的正反例数 / 总数。

准确率一般用来评估模型的全局准确程度，不能包含太多信息，无法全面评价一个模型性能。

2、召回率（recall）和 精确率（Precision）：

召回率（recall）又被称为查全率，预测为正例（positive）的样本中正确的数量除以真正的Positive的数量，即：

Recall = 被正确识别出来的正样本的数目 / 被正确识别出来的正样本的数目 + 被错误识别的正样本的数目

            = 被正确识别出来的正样本的数目 / 测试数据集中所有的正样本的数目

精确率（precision）就是在识别出来的所有的被认为是正样本的图片中，包含的真正正样本的比率：

Precision = 被正确识别出来的正样本数目 / 被正确识别出来的正样本数目 + 原为负样本但被识别为正样本的图片数目

                 = 被正确识别出来的正样本数目 / 被识别为正样本的图片的总数

P-R曲线：画出-当选取不同阈值时对应的精度（precision）和召回率（recall）：

一般来说PR曲线的总体趋势：精度越高，召回越低。在正样本非常少的情况下，PR表现的效果会更好。

一般我们希望精确率越高，召回率越高，那么我们的模型和算法就越高效。也就是画出来的PR曲线越靠近右上越好。

3、 平均精度（Average Precision，AP）和Mean Average Precision（MAP）

平均精度即：数据集中所有图片上的某个类，在固定的IOU阈值下，在不同召回率下，检出精度的均值。也是P-R曲线围起来的面积，通常来说一个越好的分类器，AP值越高。

mAP：是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个。

4、F指标（F-Measure，F-score）:

实际应用到分类时，需要综合考虑精度，召回。选取一个阈值，F-Measure是选取这个阈值的常用手段：

 β是关与召回的权重，大于1说明更看重召回的影响，小于1则更看重精度，等于1相当于两者的调和平均，这里得到一个常用的指标F1-Measure。

F1指标（F1-Measure）：

 用F1指标时，只需要选取F1指标最大时的阈值即可。

 

二、检测-错误-相关评价指标

1、错误率（Error rate）：

错误率则与正确率相反，描述被分类器错分的比例，即：

误分类率=错误预测的正反例数/总数 = 1 - 准确（分类）率

2、混淆矩阵 （Confusion Matrix）：

混淆矩阵又被称为错误矩阵， 在每个类别下，模型预测错误的结果数量，以及错误预测的类别

和正确预测的数量，都在一个矩阵下面显示出来，方便直观的评估模型分类的结果。

 

混淆矩阵中的横轴是模型预测的类别数量统计，纵轴是数据真实标签的数量统计。

对角线，表示模型预测和数据标签一致的数目，所以对角线之和除以测试集总数就是准确率。对角线上数字越大越

好，在可视化结果中颜色越深，说明模型在该类的预测准确率越高。

按行来看，每行不在对角线位置的就是错误预测的类别。

总的来说，我们希望对角线的数值越高越好，非对角线数值越低越好，可视化对角线时可以进行归一化[normalize]处理。

 

三、检测-其他-相关评价指标

1、交并比（Intersection Over Union，IOU）：

IOU定义了两个bounding box的重叠度，用来确定识别出的bounding box和人工标注的数据的匹配度，如下图所示：

矩形框A、B的一个重合度IOU计算公式为：

IOU=(A∩B)/(A∪B)

就是矩形框A、B的重叠面积占A、B并集的面积比例:

IOU=SI/(SA+SB-SI)

2、FPS(Frames Per Second)：

每秒处理图像的帧数

区分：1）FLOPS：每秒浮点运算次数、每秒峰值速度

           2）GOPS：10亿次/每秒是衡量处理器计算能力的指标单位。

          3）TPS(Transaction Per second) ：每秒钟系统能够处理事务或交易的数量，它是衡量系统处理能力的

                重要指标。

 

ROC、AR什么的之后在写...

参考文章：

https://zhuanlan.zhihu.com/p/33273532

https://www.cnblogs.com/eilearn/p/9071440.html