[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation

摘要：

Non-Local模块是一种特别有用的语义分割技术，但也因其难以进行计算和占用GPU内存而受到批评。本文非对称Non-local神经网络引入到语义分割中，提出了非对称金字塔非局部块(APNB)和非对称融合非局部块(AFNB)两种显著的语义分割方法。APNB利用一个金字塔采样模块嵌入Non-local模块，在不牺牲性能的前提下，极大地减少了计算和内存消耗。AFNB是由APNB演化而来的，在充分考虑了长距离相关性的前提下，融合了不同层次的特征，从而大大提高了性能。在语义分割基准上的大量实验证明了我们工作的有效性和效率。特别是，我们报告了在Cityscapes测试集上81.3 mIoU的最新性能。对于256 *128的输入，APNB在GPU上大约比Non-Local快6倍，而在GPU上则比Non-Local小28倍。

正文：

Motivation:

常规的Non-local模块中，Key的特征提取维度N=HW，本文提出从Key和Value中只提取一部分具有代表性的点维度为S << N，就可以大大减少计算量。重点是怎么采样S个点，在不损失精确度的情况下大大较少计算量。
网络结构：

整个网络是一个ResNet-FCN + AFNB + APNB的结构，其中在stage4 和 stage5使用AFNB去去计算低阶和高阶特征图的联系，得到一个长距离联系的融合特征。APNB放在结尾去提取更多的全局上下文信息，这点对语义分割来说非常重要。接下来我们来分析论文中提出的APNB和AFNB模块。
APNB:

本文先分析了原始Non-local 操作的过程及计算复杂度，以及本文中想优化的地方是从Key和Value中采样S(<W)个具有代表性的点，在不损失精确度的情况下，大大减少计算量。

作者受到之前的一些工作如ASPP和PSPnet的启发，觉得这些具有表征性的特征可以用空间金字塔迟化层获得。所以作者将Pyramid Pooling层嵌入到non-local模块中，具体可见figure4中的pp操作。所以最终的采样点个数为11+33+66+99 = 110个，作者还与标准non-local在H=W=96的情况下，做了对比，96*96/110 = 84倍。
AFNB:

AFNB包含两个输入，一个高层特征图，一个低层特征图，在本文中分别对应stage4和stage5特征图，看上图可知，以高层特征图为Query，以底层特征图为Key和Value，采样方式跟APNB一样。
损失函数：

损失分为最终的分类损失+stage4的一个辅助损失，采用了OHEM训练策略。

实验结果：

1.先是比较了NB与APNB在不同输入尺寸下的效率，然后比较了网络整体和PSAnet，DenseASPP的效率。

2.重点看一下在CitySpace数据集上与以往的模型效果对比，可以发现提升还是挺多的。

3.消融分析了各个模块的有效性，可以看出来AFNB+APNB 与FNB+NB对比显示，计算量大大减少的情况下，精确度却没有损失，反而因为Pyramid Pooling的设计，稍有上涨！