Panoptic Segmentation-全景分割概念与评价指标

全景分割介绍

在介绍全景分割前我们需要知道两个概念：语义分割和实例分割。语义分割指的是将图像中的每个像素点都赋予一个类别标签(class label)，而实例分割则需要将图像中的每个目标检测并且分割出来。当然，这也是像素级别的分割，不过仅是object的mask。可以知道，语义分割是一种共性的表示，而实例分割是个性的表征。为了从图像中清楚的将不同类别区分开，并且每个object间也都能清楚的区分开。全局分割任务被提了出来[1]，即将语义分割和实例分割结合。

Panoptic Segmentation.CVPR 2019.

给定一张图片，需要将不同类别的事物区分开，这是像素级别的分类，同时同一类别的对象也需要标注单独的ID。

全景分割评价指标

Segment Matching

预测结果(pi)与ground Truth(g)的匹配最低IOU门限，应该要严格的大于0.5，否则，不认为是同一个thing。

PQ

PQ指的是Panoptic Quality，即全景（分割）质量。PQ的计算公式如下：

这里TP指的是"true positives (TP), false positives (FP), and false negatives (FN), representing matched pairs of segments, unmatched predicted segments, and unmatched ground truth segments."

True Positive （真正, TP）被模型预测为正的正样本；

True Negative（真负 , TN）被模型预测为负的负样本 ；

False Positive （假正, FP）被模型预测为正的负样本；

False Negative（假负 , FN）被模型预测为负的正样本；

在这里来讲，就是像素点的类别分类正确性。

常用数据集

• Cityspaces
• ADE20k
• COCO
• Mapillary Vistas