PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation应用于航空影像的点间流动语义分割

北京大学，中科院大学

摘要

航空影像分割是一个很难的语义分割问题，有几个挑战性的点，是一般的语义分割所没有的，说两点，第一个是前景和背景极端分布的不平衡，另一个点是复杂的背景中包含了多个小目标。这些问题使最近密集连接上下文模型性能变差，甚至和基准比较较差，基准差是因为引入了过量的背景上下文。为了处理这些问题，我们提出了一种点密集传播模型基于特征金字塔网络，命名为点流动。不同于密集连接学习，一个稀疏连接图的产生是通过选择点，这些点是不同邻间特征，这样减少了背景噪声的引入，在保证有效性的同时。我们设计了一个双重点匹配器去选择点，分别从显著性区域和目标背景区域。实验结果在是三个不同航空分割数据上，该方法达到了效果最好。此外我们的方法实现了最好的速度和准确率权衡在三个航空基准上。更多的实验在三个常规语义分割数据集上证明我们方法的通用性。

引言

高分辨率遥感影像包含了各种地理空间目标，包括飞机，船，汽车，建筑等，解译这些目标从高分辨率遥感影像非常具有实用价值，针对于城市监测和管理。航空影像分割是一个重要的任务在遥感影像解译过程中，通过它可以提供语义和位置信息针对于感兴趣目标。它是一个特殊的语义分割任务，目的是赋予每个图像像素一个语义类别

然而，除了大尺度变化问题在大部分语义分割数据集，航空影像有他们自己挑战性问题，包括高背景复杂度，背景和前景不平衡，小前景目标在高分辨率影像。例如在图一中所示，红色框显示场景中小目标，同时黄色框和蓝色框显示复杂的背景上下文，分别包括了房子和树。目前常规语义分割方式主要集中在尺度多变在自然场景中，通过建立多尺度特征表示，或者提高目标边界通过设计特殊模型。这样的方式表现很差，由于高清模型化前景的缺乏。例如，几个密集连接方式也得到了差的结果，主要是因为背景的不平衡和复杂将会误导连接学习在小目标上。例如，黄色框和蓝色框都有相同的背景语义意义，但是却有一个大表现改变。密集连接学习促使小目标像素学习这样的上下文噪声，这导致较差的分割记过。farseg采用fpn-like设计，解决背景和前景不平衡的问题，通过引入前景注意相关模型。然而，对于小目标，这始终存在一些语义间隔在不同的fpn特征之间。这间隔可以是高分辨率特征和低语义信息或者低分辨率特征和高语义信息。如图1，小目标像汽车需要更多语义信息在高分辨率的底层网络。

在这篇论文，我们提出了一种基于点信息扩增模型去处理前面提到的问题。我们提出pfm模块，一个新的有效的模块对于特殊语义点扩增在不同相邻特征之间。此外，我们设计双重点匹配器通过选择匹配点特征从显著性区域和目标边界处。前者从明显的最大池化操作在学习的显著图上，后者被条件化在预测目标边界，我们采用一个抽取基础的预测。然后点连接的评估根据点特征，这些点特征都来自相邻特征。最后更高层的点融合到更低层的点，根据连接图。我们的pfm选择和扩展点在前景目标和抽取背景区域，同时处理语义间隔和前背景不平衡问题。

然后我们进行细节研究和分析pfm在实验部分，在实验部分大幅度提高了多种方式，很少的参数增加。基于fpn框架，通过插入pfm模块在特征金字塔之间，我们提出了pfnet。此外，pfnet超过先前的farseg百分之3.2在isaid上。此外，我们也校验先前的最佳通用语义分割方法，在三个航空分割数据集上，包括isaid，vaihingen和postdam等公开数据集。受益于有效的fpn设计，我们的pfnet也实现了最佳的速度和精度在三个基准上。最后，我们更进一步验证了pfms的有效性在一般语义分割基准上，包括cityscapes，ade-20k，andBDD，它实现了相当的结果和先前的方法，利用更少的计算参数。我们主要贡献在三个方面：
1.我们提出了pfm模块，一个新的有效的模块对于点连接学习，我们设计了一个双重点匹配器去选择匹配稀疏点从显著性区域和边界以互补的方式。

2.我们将pfm替换掉fpn建立了金字塔扩展网络pfnet。

3.实验证明了pfm的有效性。我们校验了15种最佳的通用分割方式，在三个航空基准上。我们的pfnet实现最佳结果在这些基准上，同时达到最佳的速度和精度的平衡。我们更进一步证明了我们方法的通用性，在三个通用语义分割数据集上。

相关工作

通用语义分割 通用语义分割在全卷积网络基础上发展起来的。随后的工作主要探索空间上下文去克服卷积神经网络感受野限制，感受野需要多尺度的特征表示。例如，aspp使用膨胀卷积，不同的膨胀率去提取特征，这些特征拥有不同的感受野，同时，ppm生成金字塔特征图，通过金字塔池化。几个工作使用编码解码实现了更好的输出细节，最近的工作提出使用非极大值相似算子或者loss去获得输入图像的全局上下文。同时，几个工作提出了优化目标边界通过特殊设计处理。这些通用的语义分割方法忽略了特殊问题包括前景和背景像素的不平衡分布在模型化上下文，增加的前景小目标在航空影像中。因此，这些方法得到较差的结果，将在后面部分展示。

航空图像的语义分割 几个早期的工作集中在使用多层的语义特征在图像的局部模式使用深度卷积神经网络。这存在很多的应用，例如土地利用，建筑物和道路提取，农业检测，我们设计特殊的方式基于存在的语义分割方式对于特殊应用情况。此外相关网络获取长范围空间关系，提到的空间实体和通道关系模型。最近，farseg提出相关性和最优化前景模型化去处理背景和前景不平衡问题在遥感影像，然而，缺失了明确的领域语义特征扩展的探索，限制了小目标分割的性能。

多尺度特征融合 基于fpn框架，而不是简单自顶向下相加融合，几个工作提出了融合特征通过开关，网络搜索，像素级别的校正，添加自底向上的路径，密集连接学习扩展。这样全融合方式可能提高了背景目标例如道路，道路不平衡问题广泛存在在航空影像中。我们提出的pfm跟随了fpn的设计，通过传播语义信息自顶向下。相对的，而不是全融合像之前的工作，我们的方式基于像素点级别，通过选择几个代表性的像素点克服像素不平衡问题在航空影像，实现更好的结果。