[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation

[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第1张图片

摘要:

Non-Local模块是一种特别有用的语义分割技术,但也因其难以进行计算和占用GPU内存而受到批评。本文非对称Non-local神经网络引入到语义分割中,提出了非对称金字塔非局部块(APNB)和非对称融合非局部块(AFNB)两种显著的语义分割方法。APNB利用一个金字塔采样模块嵌入Non-local模块,在不牺牲性能的前提下,极大地减少了计算和内存消耗。AFNB是由APNB演化而来的,在充分考虑了长距离相关性的前提下,融合了不同层次的特征,从而大大提高了性能。在语义分割基准上的大量实验证明了我们工作的有效性和效率。特别是,我们报告了在Cityscapes测试集上81.3 mIoU的最新性能。对于256 *128的输入,APNB在GPU上大约比Non-Local快6倍,而在GPU上则比Non-Local小28倍。

正文:

Motivation:
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第2张图片
常规的Non-local模块中,Key的特征提取维度N=HW,本文提出从Key和Value中只提取一部分具有代表性的点维度为S << N,就可以大大减少计算量。重点是怎么采样S个点,在不损失精确度的情况下大大较少计算量。
网络结构:
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第3张图片
整个网络是一个ResNet-FCN + AFNB + APNB的结构,其中在stage4 和 stage5使用AFNB去去计算低阶和高阶特征图的联系,得到一个长距离联系的融合特征。APNB放在结尾去提取更多的全局上下文信息,这点对语义分割来说非常重要。接下来我们来分析论文中提出的APNB和AFNB模块。
APNB:
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第4张图片
本文先分析了原始Non-local 操作的过程及计算复杂度,以及本文中想优化的地方是从Key和Value中采样S(<W)个具有代表性的点,在不损失精确度的情况下,大大减少计算量。
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第5张图片
作者受到之前的一些工作如ASPP和PSPnet的启发,觉得这些具有表征性的特征可以用空间金字塔迟化层获得。所以作者将Pyramid Pooling层嵌入到non-local模块中,具体可见figure4中的pp操作。所以最终的采样点个数为11+33+66+99 = 110个,作者还与标准non-local在H=W=96的情况下,做了对比,96*96/110 = 84倍。
AFNB:
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第6张图片
AFNB包含两个输入,一个高层特征图,一个低层特征图,在本文中分别对应stage4和stage5特征图,看上图可知,以高层特征图为Query,以底层特征图为Key和Value,采样方式跟APNB一样。
损失函数:
在这里插入图片描述
损失分为最终的分类损失+stage4的一个辅助损失,采用了OHEM训练策略。

实验结果:

[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第7张图片
1.先是比较了NB与APNB在不同输入尺寸下的效率,然后比较了网络整体和PSAnet,DenseASPP的效率。
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第8张图片
2.重点看一下在CitySpace数据集上与以往的模型效果对比,可以发现提升还是挺多的。
[语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation_第9张图片
3.消融分析了各个模块的有效性,可以看出来AFNB+APNB 与FNB+NB对比显示,计算量大大减少的情况下,精确度却没有损失,反而因为Pyramid Pooling的设计,稍有上涨!

你可能感兴趣的:([语义分割]--ICCV2019-Asymmetric Non-local Neural Networks for Semantic Segmentation)