PolarMask: Single Shot Instance Segmentation with Polar Representation

论文链接：https://arxiv.org/pdf/1909.13226.pdf CVPR2020oral

代码链接：https://github.com/xieenze/PolarMask

主要思想：提出了一种用极坐标建模的实例分割方法，即将实例分割转化为实例中心分类问题和实例轮廓极坐标回归问题，即文中描述的formulates the instance segmentation problem as predicting contour of instance through instance center classification and dense distance regression in a polar coordinate.借鉴FCOS[https://blog.csdn.net/breeze_blows/article/details/103417324}提出Polar Centerness，另外Polar IoU Loss用于mask的loss，进一步提升了性能。

看下图会非常的清楚，PolarMask只用对实例的重心进行分类（文中对采用重心还是box的中心做了对比试验，发现重心更好），和回归以重心向外放射的射线，实验中取36条。刚好每十度一条射线，一共360度。

其实作者[https://zhuanlan.zhihu.com/p/84890413]也说过是基于FCOS，FCOS可以看成PolarMask的特殊形式，而PolarMask可以看作FCOS的通用形式，因为bbox本质上是最简单的Mask，只有0,90,180,270四个角度回归长度。

网路结构跟FCOS或者说Retinanet[https://blog.csdn.net/breeze_blows/article/details/103268683]是很像的,resnet的backbone，FPN作为Neck，最后head由三部分组成，Classification用于对实例重心进行分类，Polar Centerness用于对正样本进行加权以定义更高质量的正样本。Mask Regression用于回归最终实例的轮廓极坐标。

 

更好的建模效果，文中提出了Polar Centerness和Polar IoU Loss用于定义更高质量的正样本和回归最后的实例contour。

首先是对于Polar Centerness，用来对预测的各个mask进行打分，有点类似于FCOS里面的Centerness。

其中d表示的是n条射线的长度，其实loss表达的就是用射线的最小值除以最大值，polar centerness越大就表示各个射线长度差不多，该mask就越好。就像下图中最右边的mask就比中间的好

对于Polar IoU Loss用来计算预测的mask和真实的mask之间的loss，如下图所示

经过作者的简化

另外还需要明确一个问题就是正样本的选择，在论文中作者采用了两种方式界定正样本，首先用gt_mask计算出每个mask的重心，和该gt_mask的36条射线，这里多补充一点：在计算mask的36条射线的时候，是从0度开始，每隔10度向mask发射一条射线，如果这条射线与mask有多个交点就取最长的，如果没有交点，取该度数左右-3度到1度，如果还是没有就取一个很小的常数作为射线的长度1e-6，下图附上射线的选取方式。

对于正样本的选取，首先是算出各个gt_mask的重心之后，在单个的feature map上面，具体是在重心的1.5*stride范围内的点被认为是正样本，这里的stride对应的是feature的步长。然后就是考虑FPN不同feature level的分配，这个做法就和FCOS的差不多了,其实就是计算feature map上面每个点到gt_box四条边的距离，l,t,r,b. 然后求四个距离的最大值

一共有五个level，所以依次设置m为（0,64,128,256,512,），如果满足就可以是该FPN level上面的正样本。

 

文中也做了很多的消融实验

射线数目越多越好

polar IOU比smooth L1好

 

polar centerness比FCOS里面的centerness好

 选取重心比box的中心好

 

最后，polarmask是一种新的建模方法，但是对于一些精细的分割其实表现得不友好，有些凹形状的也不太友好，但是总体感觉不错的，附上作者的解读https://zhuanlan.zhihu.com/p/84890413，感觉很详细