Entity Segmentation是什么，和semantic Segmentation, instance Segmentation,panoptic Segmentation有什么区别?

老样子先来啰嗦一下，为什么我会关注到Entity Segmentation这个概念，是因为在读High-Quality Entity Segmentation这篇paper的时候看到的。当时比较懵，Entity Segmentation是什么，和semantic Segmentation, instance Segmentation,panoptic Segmentation有什么区别?当然因为我之前主要做目标检测，对于分割不太熟所以如果有问题可以评论，留言，欢迎指正！知识是不断学习起来的，认知也是不断修正的。
直入主题，Entity Segmentation是什么？

Entity Segmentation

我一开始直接google这个词，并没有直接找到答案，到是有篇知乎的文章在讲一篇paper，看翻译的文章真是，太糙了。还不如我自己看，然后我就得到了我想要的。
这篇文章叫，Open World Entity Segmentation （TPAMI2022) 。文章开头写的很清楚，

Entity Segmentation旨在不预测其语义标签的情况下分割图像中的所有视觉实体（包括object 和stuffs）.

Relationship to similar tasks(semantic Segmentation, instance Segmentation,panoptic Segmentation)

和其他的分割的概念有什么区别呢？文章说的也很清楚。

新提出的任务侧重于“实体”的概念。它与以前的几个任务有关，但不同。与语义分割不同，ES是实例感知的。与实例分割相反，ES除了实例掩码之外还包括stuff掩码。此外，与上述分割任务和最近的全景分割不同，ES完全省略了类标签和分类功能.
简单来说，我们可以把Entity Segmentation理解为没有语义类别的全景分割。

• 然后我们来细说一下semantic Segmentation, instance Segmentation,panoptic
  Segmentation，这几个分割任务有什么区别。

既然文章里面用thing和stuff来说明的，那我们也就用这两个概念来区分一下。

1. semantic Segmentation
   对于语义分割来说，他研究的是在一副图像中不可数的stuff，如天空，马路。它分析每个图像像素，并根据其所代表的纹理指定一个唯一的类标签，就是说一辆车，两辆车他不在乎，因为他们的语义是一样的，统一定义是car。如图所示
   

2. instance Segmentation
   现在来说instance Segmentation。既然语义分割关注的是，不可数的stuff,那实例分割关注的就是可数的things。它可以检测图像中存在的每个对象或类的实例，并为其分配一个具有唯一标识符的不同掩码或边界框，表现就是他可以分清car_1，car_2，和car_3456。每个实例语义可以是一样的，但是ID是不一样的。
   

3. panoptic Segmentation
   全景分割就牛批了，其中场景中的每个像素都被分配了一个语义标签（由于语义分割）和一个唯一的实例标识符（由于实例分割）。简单说他是语义分割和实例分割的结合。在thing和stuff中，他两者都有但如果当像素出现重叠，他还是更关注thing,而不是stuff。

最后这个图就非常清晰明了。