【图像分割模型】多感受野的金字塔结构—PSPNet

这是专栏《图像分割模型》的第6篇文章。在这里，我们将共同探索解决分割问题的主流网络结构和设计思想。

在分割问题中，上下文信息与多尺度融合对于提高分割精度是十分有效的，今天我们就来谈谈用于实现这个目标的金字塔池化结构。

作者 | 孙叔桥

编辑 | 言有三

本期论文《Pyramid Scene Parsing Network》

 

1 为什么要用金字塔结构提取特征

从本系列前面的文章我们已经了解到，对于分割任务而言，上下文信息的利用情况对于分割的效果是有明显影响的。这里我们就具体谈谈这个影响的原因。

通常来讲，我们判断一个东西的类别时，除了直接观察其外观，有时候还会辅助其出现的环境。比如汽车通常出现在道路上、船通常在水面、飞机通常在天上等。忽略了这些直接做判断，有时候就会造成歧义。比如下图中，在水面上的船由于其外观，就被FCN算法判断成汽车了。

从左到右分别为：图像、真值、FCN结果和PSPNet结果。

除此之外，由于金字塔结构并行考虑了多个感受野下的目标特征，从而对于尺寸较大或尺寸过小的目标有更好的识别效果。

从左到右分别为：图像、真值、FCN结果和PSPNet结果。

 

可见，同时考虑不同感受野下的上下文信息是十分必要的。下面我们就一起来具体看一下金字塔池化模型。

 

2 金字塔池化模型

尽管ResNet的感受野在理论上已经可以达到大于输入图像尺寸，但是Zhou等人也证明了CNN的经验感受野实际上比理论值小很多。因此，需要一个更有效的全局先验的描述方式。

下图是论文中提出的基于金字塔池化模型的网络结构。其中，虚线框出来的部分属于金字塔池化模型。

 

实验中分别用了1x1、2x2、3x3和6x6四个尺寸，最后用1x1的卷积层计算每个金字塔层的权重，再通过双线性恢复成原始尺寸。

最终得到的特征尺寸是原始图像的1/8。最后在通过卷积将池化得到的所有上下文信息整合，生成最终的分割结果。

此外，文中还应用了两个损失函数，分别用于约束主干分割网络和校正网络。以ResNet101为例，损失所处位置如下图所示。

 

 

3 实验结果

为了验证金字塔结构的有效性，PSPNet的作者对其进行了一系列的剥离实验。具体结果如下表所示：

 

ADE20K数据库下的分割结果：

 

下图是PASCAL VOC 2012数据库下的实验结果：

 

 

总结

本文我们了解了上下文信息整合的多尺度估计网络PSPNet和其中的金字塔池化模型。除了同种特征的堆叠，我们还可以利用多特征融合提升分割的效果。下期我们就一起来看一下ParseNet。

本专栏文章：

第一期：【图像分割模型】从FCN说起

第二期：【图像分割模型】编解码结构SegNet

第三期：【图像分割模型】感受野与分辨率的控制术—空洞卷积

第四期：【图像分割模型】快速道路场景分割—ENet

第五期：【图像分割模型】以RNN形式做CRF后处理—CRFasRNN

第六期：【图像分割模型】多感受野的金字塔结构—PSPNet

第七期：【图像分割模型】全局特征与局部特征的交响曲—ParseNet

第八期：【图像分割模型】多分辨率特征融合—RefineNet

第九期：【图像分割模型】用BRNN做分割—ReSeg

第十期：【图像分割模型】BRNN下的RGB-D分割—LSTM-CF

第十一期：【图像分割模型】实例分割模型—DeepMask

第十二期：【图像分割模型】全景分割是什么？

感谢各位看官的耐心阅读，不足之处希望多多指教。后续内容将会不定期奉上，欢迎大家关注有三公众号 有三AI！