何凯明全景分割论文Panoptic Feature Pyramid Networks

论文：Panoptic Feature Pyramid Networks

论文下载地址：https://arxiv.org/pdf/1901.02446.pdf

论文代码：未公布

 

论文创新点：

将语义分割的FCN和实例分割的Mask-Rcnn结合在一起。设计了Panopic FPN网络。该方法可能chen成为以后全景feng分割的基线。

虽然设计理念很简单但是要将这两个网络结合在一起并实现很高精度的单一网络是很具有挑战性的。这两个方法实现最好的精度是由是有区别的。

两种算法存在的区别：

1. FCN是在膨胀卷积下面可以实现和好的语义分割效果。FPN特征金字塔对于实例分割来说可以取得很好的效果。

2. 如何将这两种算法结合在一起是本论文的创新之处。他们设计了一种单一网络同时生成语义分割和实例分割来保证准确性。

 

网络结构

网络结构设计理念，在具有FCN的Mask-Rcnn上面进行修改。

a图是特征金字塔的网络结构。b图示实例分割的网络结构图。c图是语义分割的网络结构图。

特征金字塔网络(Feature Pyramid Network)：首先简要回顾一下FPN。FPN采用一个具有多空间分辨率特征的标准网络(如ResNet)，并添加一个具有横向连接的自上而下的通道，如图1a所示。自上而下的路径从网络的最深层开始，并逐步向上采样，同时添加自底向上路径的高分辨率特性的转换版本。FPN生成一个金字塔，通常具有1/32到1/4的分辨率，其中每个金字塔级别具有相同的通道维度(默认是256)。

实例分割分支：FPN的设计，特别是对所有金字塔级别使用相同的通道维数，使得附加基于区域的对象检测器变得很容易，比如Faster R-CNN。 为了输出实例分段，我们使用Mask R-CNN，它通过添加FCN分支来预测每个候选区域的二进制分段Mask，从而扩展Faster R-CNN。

语义分割分支：使用FPN对Mask R-CNN进行修改，实现像素级语义分割预测。对特征图进行下采样，然后采用跳跃结构将不同尺度的特征图结合在一起提取丰富的语义特征。

为了实现准确的预测，该任务所使用的特性应该：(1)具有适当的高分辨率，以捕获精细的结构; (2)编码足够丰富的语义，以准确地预测类标签;

虽然FPN是为目标检测而设计的，但是这些要求——高分辨率、丰富的、多尺度的特征——正好是FPN的特征。

实验结果

Panoptic FPN，可以作为一个简单有效的单网络baseline，用于实例分割、语义分割，以及他们的联合任务全景分割。

该算法在COCO和Cityscapes数据集上面都取得了很高的精度。