Context Encoding for Semantic Segmentation

论文地址：https://arxiv.org/pdf/1803.08904.pdf
代码地址：https://github.com/zhanghang1989/PyTorch-Encoding

1. Introduction

  CNNs能够通过叠加具有非线性和向下采样的卷积层来获取具有全局感受视野的信息表示。为了克服与向下采样相关的空间分辨率损失问题，最近的研究使用了扩张型的卷积策略来从预先训练的网络中产生密集的预测，但是这种策略也将像素从全局场景中分离出来，导致错误分类的像素。本文引入了上下文编码模块，该模块对类依赖的特性进行了选择性的高亮处理，使网络的语义分割更加容易。
  上下文表示不明确，导致问题:捕获上下文信息与增加感受视野的大小相同吗?然后，该工具可以提供一个更小的相关类别的子列表，这将极大地减少可能类别的搜索空间。同样，如果我们能够设计一种方法来充分利用场景上下文与类别的概率之间的强相关性，那么语义分割就会变得更容易。
  本文的第一个贡献是，提出了上下文编码模块合并了语义编码loss(SE-Loss)，一个利用全局场景上下文信息的简单单元。上下文编码模块集成了一个编码层来捕获全局上下文，并有选择地突出显示类依赖的特性。我们引入语义编码丢失(SE-loss)来规范训练，使网络能够预测场景中对象类别的存在，从而加强语义上下文的网络学习。与每个像素的损失不同的是，对于大的和小的对象来说，损失都是相等的，我们发现小对象的性能在实践中经常得到改善。所提出的上下文编码模块和语义编码丢失在概念上是直接的，并且与现有的基于FCN的方法相兼容。第二个贡献是EncNet通过包含一个上下文编码模块，增加了一个预先训练的深度残差网络，使用预先训练过的网络的扩张策略。

2. Context Encoding Module

Context Encoding

  利用编码层捕获特征数据作为全局语义信息，编码层的输出是编码的语义。为了利用上下文，预计一组比例因子可以选择性地突出显示类依赖的特性。编码层学习一个包含数据集语义上下文的内在字典，并输出具有丰富上下文信息的剩余编码器。

  从图中可以看出，这个网络结构中，对前面网络提取出的丰富的特征使用全连接层FC进行编码，其中一个编码分支直接送给SE-loss，进行场景中出现类别的预测；另一个分支对每个类别预测加权的尺度因子，然后这个加权的尺度因子对前面提出的每个通道的类别进行加权，然后再进行后面的上采样，最终计算loss。

Feature map Attention

  为了利用编码层捕获的编码语义，我们可以预测特征映射的缩放因子作为一个反馈循环，以强调或弱化类依赖的特性。使用全连接层在编码层的顶部和一个sigmoid激活函数，输出预测的featuremap的缩放因子。

W表示的是层的权重，sigmoid激活函数。然后模块输出乘以缩放因子

  在前面获取的特征图基础上，使用全连接层对每个类别预测权重，也就是文中所说的尺度因子，然后使用sigmoid进行归一化尺度。之后，再用生成的尺度去乘前面得到的特征图，作为后面模块的输入。

Semantic Encoding Loss

  在语义分割的标准训练过程中，网络从孤立的像素(给定输入图像和地面真值标签的每像素交叉熵损失)中学习。如果没有全局信息，网络可能难以理解上下文。我们构建了一个额外的全连通层，在编码层之上有一个sigmoid激活函数，以对场景中的对象类别的存在进行单独的预测，并学习二进制交叉熵损失。与每个像素的损失不同，SE-Loss把大的和小的物体都看成是一样的。在实践中，我们发现小对象的分割常常得到改进。

2.1. Context Encoding Network (EncNet)

  我们创建一个单独的分支，以最小化将编码的语义作为输入并预测对象类的存在的SE-Loss。由于上下文编码模块和SE-loss非常轻，我们在第3阶段的基础上构建另一个上下文编码模块，将SE-Loss最小化作为额外的正则化，类似于但是比PSPNet的辅助损失代价要小得多。在没有任何附加说明的情况下，直接从真值分割掩码中直接生成。

2.2. Relation to Other Approaches

Segmentation Approaches

  CNN已经成为计算机视觉任务的实际标准，包括语义分割。早期的方法通过对区域的建议进行分类来生成分割掩码。全卷积神经网络(FCN)开创了端到端分割的时代。然而，由于使用预先训练的网络(最初是为图像分类而设计的)，从低采样特征图中恢复详细信息是困难的。为了解决这一难题，一种方法是学习上行采样滤波器，即分割的卷积或译码器。另一种方法是对网络采用/扩张的卷积策略，以保留较大的感受视野，并产生密集的预测。前期工作采用密集的CRF进行FCN输出来细化分割边界，CRF- rnn通过FCN实现CRF的端到端学习。最近的基于fcn的工作通过增加具有更大速率的卷积或全局/金字塔池的接收域来显著提高性能。
  然而，这些策略必须牺牲模型的效率，例如PSPNet，在金字塔池和向上采样和DeepLab之后，在平坦的特性上应用卷积，在极端的情况下，将会退化到1 x 1的卷积。我们提出了上下文编码模块，以有效地利用全局上下文进行语义分割，这只需要额外的边际计算成本。

Featuremap Attention and Scaling

  空间转换网络在输入的条件下学习网络内的转换。在没有额外监督的情况下，提供了一个空间上的注意。批量标准化将数据均值和方差的标准化作为网络的一部分，成功地允许更大的学习速率，使网络对其不那么敏感。初始化方法，最近在风格转换方面的工作操纵了特征图的均值和方差或二阶统计数据，以支持网络风格转换。一个非常近期的工作-网络探索了交叉通道信息，以学习一个通道的注意，并在图像分类中取得了最先进的性能。在这些方法的启发下，我们使用编码的语义来预测特征映射通道的因子，这提供了一种机制，通过强调或弱化对场景上下文的条件来分配显著性。

3. Experimental Results

3.1. Implementation Details

  输出预测值使用双线性插值上采样8倍，使用poly学习率下降策略，对于ADE20K数据集初始学习率为0.01，别的数据集初始学习率为0.001，power为0.9，weight decay 为0.0001，训练50epochs VOC2012数据集上，120epochs在ADE20K数据集上。使用了数据增强，缩放和旋转，裁剪一个固定尺寸。更大的裁剪尺寸会产生更好的性能。我们在训练中使用16个小批量。与我们的工作相比，我们使用扩张型的ResNet FCN作为基准方法。对于训练EncNet，我们使用编码层中32的码字。