[Daily Paper Reading 1] Panoptic Segmentation/全景分割

简介

• Kirillov A , He K , Girshick R , et al. Panoptic Segmentation[J]. 2018.
  这篇文章来自于何凯明组，主要工作是提出了将实例分割和语义分割结合起来的全景分割任务，并给出了此类任务的性能指标PS(panoptic quality)。

主要内容

区别

• 给出了语义分割、实例分割和全景分割的输出格式定义:
  • 语义分割：给每一个像素分配类标签
  • 实例分割：给每一个目标分配类标签和分割掩码
  • 全景分割：给每一个像素分类类标签和实例标签
• 强调了things和stuff之间的区别：things可数，对应于实例分割；stuff不可数，对应于语义分割。
• 文章回顾数据集对于计算机视觉领域中各项任务的推进作用

• 文章定义了全景分割任务格式

  
  
  

  格式
  
  

  并给出了全景分割与实例分割、语义分割之间的联系和区别：比较重要的一点是全景分割中实例不能重叠。

• 文章给出了全景分割任务的性能指标计算方法：包含两步，一是分割匹配，二是计算每一个匹配的PQ。
  
  

  匹配
  
  
  

  Cal PQ
  
  
  

  Fig 2
• 文章将直接将实例分割和语义分割的输出采用启发式的类似于NMS的方式进行融合，得到全景分割的输出，并将结果与人类结果进行比较，发现在机器与人类之间的差距主要在于识别上边（SQ)。
  
  

  PS Output

感想

文章为了推动计算机视觉领域向着更接近于人的视觉系统发展，提出了全景分割任务。其输出格式的简洁性，评价性能的简介和完备，逻辑的严密性（主要体现在分割匹配时选择阈值为0.5的说明）是值得学习的。文章中也提到了前深度学习时代的计算机视觉文章，有时间的话可以看一看，了解一下那个时代。