语义分割评价指标

参考：1 2 3 4

1. 前言

1.1 图像分割主要的两个方向

• 语义分割（semantic segmentation），常用来识别天空、草地、道路等没有固定形状的不可数事物（stuff）。语义分割的标记方法通常是给每个像素加上标签。
• 实例分割（instance segmentation），人、动物或工具等可数的、独立的明显物体（things）。实例分割通常用包围盒或分割掩码标记目标。
• 全景分割（Panoptic Segmentation）其实就是把这两个方向结合起来，生成统一的、全局的分割图像，既识别事物，也识别物体。
  

1.2 IOU标准介绍

• 目标检测和图像分割的评价标准是一样的，核心都是使用IOU标准
• 目标检测和图像分割使用的IOU方法都是一样的，不同的是目标检测面向判断选定框和预测框；而图像分割面向的是选定掩码和预测掩码
• 在目标检测中，检测目标用box进行评价。我们的IOU评价方式为(将预测框和选定框放入公式中去判定)：
• 而在图像分割中，我们用掩码来进行评价，IOU评价方式为(将预测掩码和选定掩码放入公式汇中去判定):

2. 相关术语

2.1 早些年

2.1.1 IOU/IU

• Intersection over Union
  
• IoU相当于两个区域重叠的部分除以两个区域的集合部分得出的结果， IOU算出的值score ＞ 0.5 就可以被认为一个不错的结果了
• 用于衡量特定数据集上对象检测器的准确性

2.1.2 mIoU

• mean IoU
• 均交并比
• 即预测区域和实际区域交集除以预测区域和实际区域的并集（计算两个集合的交集和并集之比，这俩个集合为真实值和预测值），这个比例可以变形为正真数比上真正、假负、假正（并集）之和，在每个类上计算IOU，之后平均
• 因为我们识别或者分割图像一般都有好几个类别，所以我们把每个分类得出的分数进行平均一下就可以得到mean IoU，也就是mIoU。

2.1.3 AP

• Average Precision
• 代表平均精度
  

2.1.4 AR

• Average Recall
• 表示平均召回率
  

2.1.5 PA

• Pixel Accuracy：表示检测物体的准确度，重点判断标准为是否检测到了物体
  上面所述的IoU只是用于评价一幅图的标准，如果我们要评价一套算法，并不能只从一张图片的标准中得出结论。一般对于一个数据集、或者一个模型来说。评价的标准通常来说遍历所有图像中各种类型、各种大小(size)还有标准中设定阈值.论文中得出的结论数据，就是从这些规则中得出的。
  

2.1.5.1 Precision

准确率：表示符合要求的正确识别物体的个数占总识别出的物体个数的百分数

2.1.5.2 Recall

召回率：表示符合要求正确识别物体的个数占测试集中物体的总个数的百分数

2.1.5.3 FP

• false positive
• 误报：即预测错误(算法预测出一个不存在的物体)

2.1.5.4 FN

• false negative
• 漏报，即没有预测到(算法没有在物体规定范围内预测出该物体)

2.1.5.5 TP

• true positive
• 正确，既预测正确(算法在物体规定范围内预测出了该物体)

2.1.5.6 TN

• true negative
• 算法预测出了此处是背景，也就是说此处没有任何物体，当然也没有mask。

2.1.6 MPA

• mean pixel accuracy
• 平均像素准确率
• MPA是对PA的改进，它是先对每个类计算PA，然后再对所有类的PA求平均

2.1.7 Pixel Precision

• 代表检测到所有的物体中覆盖的精确度，重点判断mask是否精确地覆盖到了该物体
• 而像素精度则是在已经检测到的基础上(不论检测是否失误)进行评测的标准：
  
  上面是coco的评价标准，表示在所有检测出来的目标有多大的比率是正确的。而有些任务因为侧重不同所以公式也稍有变化。比如下面的公式，加入了FN，没有检测出来的实际物体也进行了计算

2.2 现在

2.2.1 RQ

• recognition quality识别质量

2.2.2 SQ

• segmentation quality分割质量

2.2.3 PQ

• panoptic segmentation