semantic segmentation，instance segmentation ，Panoptic Segmentation（全景分割）与detection的关系

1.什么是semantic segmentation？

label each pixel in the image with a category.（把每一个像素点都分为一个类别）

2.semantic segmentation的局限

      如图，两个牛相互靠近，导致label无法清晰分辨（not distinguished）。通常而言，肯定有多个人在图像中，比如人行道上。因为这个不可分的特点，学者提出了instance segmentation。

3.segmentation和detection简要关系

 

      detection 通常的做法是localization（找出包含物体的bbox），之后做classification，看这个bbox里面包含了什么objects。instance segmentation是更像是将detection粗略的bbox细化，换句话说，detection只用一个框圈住物体，具体物体什么姿势他不管，但是instance segmentation做到了。

4.semantic ，instance，Panoptic Segmentation（全景分割）区别

Panoptic Segmentation（全景分割）就是前景使用instance segmentation，背景使用semantic segmentation。他的动机就是海洋，森林，我知道他们在哪里就行了，但是前景（比如人）我想知道人1，人2，人3,...，所以就利用instance segmentation分割前景实例。

       借鉴传送门与上述知识，semantic segmentation效果就是左图，Panoptic Segmentation就是中图（分清了同一个类别:人的不同实例），最后就是instance segmentation（细化了detection的bbox）。