2020-04-03

Adaptive Context Network for Scene Parsing

作者团队：中科院自动化所

关注的问题：场景解析中不同级的上下文信息。

简单理解：本文的核心就是用FCN 中最高级的语义特征做全局上下文信息，而用中间级的特征做局部上下文信息，全局上下文有利于大目标的分割，局部上下文有利于小目标的分割。

拟解决的问题：作者发现在不同的图片中上下文信息来源于不同的像素点和区域。在此基础上，提出了一种自适应上下文网络(ACNet)，根据像素的不同需求，通过全局上下文和局部上下文的竞争融合来捕获像素感知上下文。具体来说，当给定一个像素时，全局上下文需求是通过全局特征与其局部特征之间的相似性来衡量的，其反向值可以用来衡量局部上下文的需求。

作者提出了两个模块：全局上下文模块和局部上下文模块来两者相互作用来产生自适应的上下文特征。此外，导入多个这样的模块来在不同层次的网络中构建几个自适应的上下文块，以获得由粗到精的结果。最后，综合的实验评估证明了所提议的ACNet的有效性，并在所有四个公共数据集(即Cityscapes、ADE20K、PASCAL Context和COCO Stuff)上实现了优秀的性能。

最近的场景解析方法是基于全卷积网络(FCNs)[24]。然而FCN 网络框架有两点限制：首先，连续的下采样操作比如池化和微步卷积会导致图像的分辨率显著降低，从而引起空间细节信息的损失。其次，由于感受野和局部上下文特征的限制性，每个像素点的密集型分类通常是含糊的。最终FCN架构导致了分割后的图像具有粗糙的边缘，忽略的了小目标结构，并且会导致大目标的误分类。

但是也有一些方法提出了改进措施：其中利用不同层级的上下信息（局部和全局特征）是主要的改进方向。特别的，一些方法采用U型结构，这种方法利用了中间层的多尺度局部信息，来补充细节信息。还有一些方法利用膨胀卷积层来回去更大的感受野同时保证分辨率不被衰减。初次之外，由全局平均池化获得的图像级特征被视为全局上下文信息来加强局部融合。然而这些FCN的变种框架把每个像素点当成独立的个体来处理，而忽视了每个像素点所需的上下文信息不同的问题。

That is, the local context from middle layers is essential for the class prediction of those pixels on edges or small objects, while the global context exploring the image-level representation is benefit to categorize large objects or stuff regions, especially for the case when the target region exceeds the receptive field of the network.

具体解释就是：中间层的局部上下文信息的对于边缘和小目标的正确分割是有帮助的，而高级语义特征有利于大区域的正确分割，特别是大的目标区域超出网络的感受野

下面给出了文中加入局部上下文信息和全局上下文信息的示意图。特别地，使用全局平均池特性的像素级增强表示作为全局上下文，使用具有低级特性的连接表示作为局部上下文。

本文方法：提出了一个自适应上下文网络，与之前的方法不同，ACNet为每个像素生成不同的层次上下文，即每个像素生成不同的上下文。，基于内容的特性是输入数据的函数，并且由于像素的不同而不同。

一般来讲全局池化特征对大目标具有指导意义，但是缺乏空间信息。因此，可以将全局池化特征与每个像素点特征相匹配

文中解释的两大创新点：全局池特征可以自适应地融合到需要大地上下信息地像素中，从而减少对大对象或东西的错误分类。 我们根据局部上下文需求改进局部上下文融合，并逐步重用局部特征，从而提高对小对象和边缘的分割结果。

Relate work文献回顾：

Global context embedding: ParseNet, PSPNet, BiSeNet, EncNet,

Local context embedding.  U-net RefineNet，Exfuse DeeplabV3

Attention and gating mechanisms. PAN(金字塔特征注意力)

Laplacian pyramid reconstruction and refinement for semantic segmentation.

下面介绍方法：

使用膨胀卷积的resnet，去掉最后一层的下采样操作用膨胀卷积替代。在上采样阶段，使用三个自适应上下文块在三个不同的分辨率下。每个自适应块包括一个全局上下文块，上采样块和局部上下文块。全局上下文块从高级特征中获取全局上下文信息，局部上下文块从低级特征中获取局部上下文信息。