合成孔径雷达(SAR)舰船探测(SSD)是一种重要的应用,在商业和军事领域有着广泛的应用。随着遥感技术的发展,大量增加的未标记数据的使用 对模型训练提出了挑战,而 岛礁和近岸设施的干扰 也对SAR舰船探测提出了挑战。本文提出了一种 特征集成注意检测(FIAD)网络 来检测SAR图像中的船舶,即FIAD net。
FIAD网络有两个贡献:一个基于自监督学习的ModiBYOL方法 和 一个新的特征集成注意(FIA)模块。FIA模块可以增强骨干网的特征学习能力,而ModiBYOL可以利用未标记数据作为骨干网预训练的来源。在OpenSARShip数据集、SAR舰船检测数据集(SSDD)和SAR舰船数据集上的实验表明,所提出的方法以每秒47帧(FPS)的速度达到了与现有方法相当的精度。此外,还通过消融实验研究了该模块的有效性。
1. Introduction
合成孔径雷达(SAR)是一种 不受天气和阳光影响 的 主动微波雷达成像平台。这使得 SAR图像成为船舶检测的完美数据源(Atteia和Collins 2015;潘,廖,杨2019)。船舶探测是边境管制、环境保护、交通监视、反走私、搜索、救援等前沿任务的基础(Cui et al. 2019)。随着造船工业和世界贸易的发展,船舶检测变得越来越重要。随着SAR平台的增长,未标记SAR数据的数量也在迅速增加(steel - dunne et al. 2017)。由于 SAR图像标注需要人力和专业知识,自动SAR舰船检测(SSD)方法可以减轻人工劳动,提高下游任务的效率。
近年来,卷积神经网络(Convolutional Neural Networks, CNN)在计算机视觉领域取得了长足的发展,在各种计算机视觉任务中,CNN的性能已经超过了传统的方法。作为地理信息与计算机视觉的交叉研究领域,基于CNN 的遥感方法也受到了广泛关注(Dong et al. 2020;Liu等。2019;Zhang等。2019;Chen等。2020a;Gao等人,2019;Zhao等,2020;Cui等。2019,2021)。由于遥感图像包含复杂的语义信息,扩大了类内的距离,压缩了类之间的差异(Cheng等,2020),这需要大量的标记训练数据进行监督学习。然而,高人工成本数据中的显式标签可能无法提供足够的特征信息(Chen et al. 2020b)。在这种情况下,如图1所示,更有效的学习过程可以帮助CNNs收敛到更好的解。自监督对比学习能够提取潜在的特征信息,而不是显式标签(Chen等2020 b;Hjelm等人,2019;Oord, Li和Vinyals 2018;他等人;Grill et al. 2020),很少有研究在SSD上采用对比学习。在这种情况下,有必要讨论在SSD中采用自监督的对比学习。因此,本文提出了一种名为ModiBYOL的骨干网络预训练方法,该方法基于SSD任务中的自我对比 self-contrastive学习。
SSD中的传统挑战包括 多尺度对象、类别不平衡、斑点噪声 和 由近岸设施引起的干扰。为了克服这些问题,许多工作嵌入了 注意力机制 和 特征金字塔结构,以增强特征提取能力 和对多尺度对象的敏感性(张等2019;陈等;高等2019;赵等;崔等2019,2021)。然而,这些实现将卷积模块堆叠在检测框架上,并以牺牲速度为代价。因此,在不影响检测速度的情况下提高检测精度有助于提高SSD。本文提出了一种 新的轻量级特征整合注意(FIA)模块,以进一步改善SSD。
结合ModiBYOL和FIA模块,提出了一种 高速SSD 方法,即FIAD Net。FIAD net的设计原则是 从使用大量未标记数据和增强 CNN 的目标特征提取能力出发。与现有的最先进的SSD方法相比,本文在多个数据集上测试了FIAD Net的检测速度。FIAD Net在SSDD数据集和SAR舰船数据集上取得了与最先进的检测结果相当的效果。
Contributions:
● 提出了一个轻量级的特征集成注意(FIA)模块 来 增强FIAD网络的特征提取能力。
● 提出了一种 SAR舰船 特征敏感的自监督学习方法(ModiBYOL ),以帮助主干网络从无标签数据中提取SAR舰船的特征表示和粗略位置。
● 结合FIA模块、ModiBYOL、YOLOv4(Bochkovskiy、王、廖2020)建立FIAD网络,实现了对SAR舰船速度为47 FPS的准确检测。
自监督学习:
从未标记数据中提取特征主要依靠无监督学习。生成模型 和 对比方法是 CNN无监督学习 中使用的两种方法。
早期的方法 将图像特征 编码成 来自图像 和 潜在嵌入的分布。它采用自动编码(Hinton和Salakhutdinov 2006Pham和Le 2020),以及对抗性训练(Goodfellow等人2014)来 重建图像。因为 生成方法 是从像素级恢复特征表示。它的计算成本很高,而且在许多情况下,生成的信息并不是必需的。
最近,对比方法在自监督学习中取得了令人信服的性能(Chen等。2020b;Hjelm等人,2019;Oord, Li和Vinyals 2018;He等。;Grill等,2020年)。对比方法的概念 是 缩小所需特征之间的距离,扩大不需要特征之间的距离。
由于 对比方法 对更多的负样本更有效,而且大量的负样本 可能更有效地覆盖潜在分布。
总的来说,SIMCLR在Imagenet数据集上以8192的小批量实现了最先进的性能。mini-batch 大小的影响是一个不可忽视的重要因素。此外,更强大的数据增强可以帮助CNN 学习到 更鲁棒的特征表示,减轻批量大小带来的副作用 有助于对比方法的研究。
因为,对比方法丢弃了生成模块,更容易收敛。这些方法为从无标记SAR舰船数据中学习特征表示提供了新的方向。
SAR 舰船检测:
传统的SAR舰船检测 源于显著性检测,主要基于 手工特征、灰度特征、海洋特征 和 极化特征(Pan, Liao and Yang 2019)。由于海面是一个动态的混沌系统(Li, Han and Wang 2012),研究者计算 海杂波强度的统计特征 作为海特征(Gao 2010)。
虽然这些方法能够通过合理设计的特征对舰船进行检测,但基于CFAR的方法仍然受到相干散斑噪声、阈值不合适、对多尺度目标泛化程度低的影响。
最近,CNN 改进了典型的计算机视觉任务,如目标检测(Ren et al. 2017;Liu等,2016;Redmon等人2016;Redmon and Farhadi 2017,2018;Lin et al. 2017),图像分割(Ronneberger, Fischer and Brox 2015),图像去噪(Zhang et al. 2017;Lyu, Zhang, Han 2020)和图像分类(Krizhevsky, 1488 D. WANG等;Sutskever和Hinton 2012;Simonyan和Zisserman 2015;Szegedy等人2015;He等2016;Xie et al. 2017)。
在SSD方面,Cui等人(Cui et al. 2019)提出了一种 密集注意力金字塔网络(DAPN)来检测SAR图像中的船只。DAPN在Faster R-CNN框架上集成了特征金字塔网络(Lin et al. 2017)和CBAM(Woo et al. 2018)注意模块。在DAPN中,FPN增强了对多尺度目标的敏感性,CBAM有助于提取更多的语义特征表示。
Lin等人(Lin et al. 2019)利用 排序机制 改进了 压缩激励网络,以提高SSD的性能。Zhao et al.(Zhao et al. 2020)在Faster R-CNN上提出了一种结合RFB和CBAM的网络,对船舶的多尺度特征进行编码,并通过细粒度特征金字塔细化冗余信息。
Gao等人(Gao et al. 2019)引入了一种改进的RetinaNet (Lin et al. 2020),通过集成注意模块、FPN和分裂卷积块来减少特征和空间信息的损失。
Jiang等人(Jiang et al. 2021)提出了一种基于YOLO-V4 Tiny的高速SSD方法。YOLO-V4 Tiny使用 拉普拉斯金字塔 非下采样Contourlet变换 作为预处理方法,实现了具有竞争力的精度。
一般来说,在现代SSD方法中,FPN结构通常用于提取多尺度特征信息,包括注意力层在内的附加模块也有助于进一步提高性能。因此,现代SSD方法堆积了更多的网络层,以牺牲计算复杂度 来提高检测精度。因此,有必要对提高SSD综合性能 的预处理操作和方法结构进行研究。
很少有研究探讨在SSD模型的主干网络预训练中采用未标记的SAR舰船数据。受对比学习方法有效性的激励,本文在SSD模型预训练中采用了自监督对比学习方法。此外,为了提高SSD的目标检测精度,提出了一种 新的特征整合注意力(FIA)模型。因为SSD 精度的提高 通常导致 计算复杂度 和 推断时间的增加。本文提出的FIA模块 被高度集成到 几乎不增加计算复杂度的 检测框架中。
基于以上分析,在本节中,将详细介绍所提出的方法。首先,介绍了FIAD net 的主要结构。其次,提出了 SAR数据 定制的自监督学习方法 ModiBYOL。第三,介绍了 嵌入了FIA模块的主干网络。第四,介绍了FIAD网络的 neck 模块。第五,带来了FIAD网的 检测头。第六,推导了计算 训练损失 的公式。
图2中展示了所提出的方法的流程图。该方法包括两个主要部分:一个名为 ModiBYOL 的自监督训练模块 和 检测框架FIAD Net。首先,我们使用 ModiBYOL 训练FIA-CSP DarkNet 骨干网,从未标记的SAR数据中学习SAR舰船的特征表示,然后,使用预训练的权值 对检测网络进行微调,进行进一步的监督训练。
图3给出了ModiBYOL方法的计算图。如图3所示,ModiBYOL方法的主要思想 是通过一个 在线网 和 一个目标网 来学习进一步下游任务的表示。在线网络 和 目标网络具有相同的网络结构,但在权值(θ)更新上采用不同的策略:带对比损失的反向传播 和 基于参数的加权动量回归。
其中,τ∈[0,1]。
如式(1)所示,首先,给定图像x;我们用不同的增强方法 t 和 t’ 生成了两个图像(v和v’ ),我们有v=t(x) 和v' = t' (x) 。其次,在在线网中,我们使用在线网络 fθ 来学习特征表示,然后我们有y=fθ(v)。之后,我们使用 多个全连接层 来 重新投影编码的特征z=gθ(y)。
与在线网络相同,目标网络编码和重新投影 y'=fε(v') 和 z'=gε(y')。
最后,我们使用 对比损失 来计算 z 和 z'之间的差异;我们在等式(2)中给出对比损失:
由于SSD任务中的 舰船通常是作为一个完整的目标来检测的,并且 舰船具有旋转不变性,这些先验知识与一般的目标检测有很大的不同。因此,本文 修改了SSD预训练中 的数据增强策略。不同于工作(Grill等人2020;陈等2020b)中使用的增强方法。本文利用 颜色抖动、水平翻转、垂直翻转、随机旋转 和 随机灰度 对SAR船进行预训练。转换后的结果可以在图4中看到。
CSPNet (王等,2020)是一种先进的主干网络,可以提取特征表示,并为下游模块 提供粗略的位置信息 (周等,2016)。本文提出 FIA-CSP darknet53 作为骨干网络。我们在图5中展示了FIA-CSP darknet53的结构,FIA-CSPdarknet的四个主要组成部分如下。
3.3.1 Cross stage partial residual block 跨阶段部分残差块
在部分残差块的一个阶段,我们通过 通道将特征张量 分成两部分。在它们之间,被直接传送到该阶段的末端,将经过一个残差块。之后,两个分支的输出将遇到 一个特征集成层,以增强 对SAR数据的某些特征的 提取能力。然后 连接两个部分,并使用 partial transition layer 部分过渡层 来生成此阶段的输出。
3.3.2 Partial residual block 部分残差块
部分残差块有三个作用:1) 增加梯度路径,在反向传播时可以更好地训练。2) 重新平衡每一层的计算,特别是瓶颈结构。3) 减少内存消耗,处理 部分特征信息 可以减少特征传输的流量。经过部分残差块后,我们有
3.3.3. Feature integration attention (FIA) module 特征整合注意力模块
由于 CSP网络 采用 跨阶段部分策略 来降低计算复杂度。张量中的特征表示 可能需要自适应增强,因此,本文提出了一种 在部分残差块之后 的轻量级通道注意层。
主要步骤如下:
3.3.4. Partial transition layer 部分过渡层
部分过渡层 可以 放大梯度组合的差异。部分过渡层可以 截断梯度流,以 防止学习冗余的特征信息。部分过渡层通过 连接和实现:。然后使用 卷积层、批量归一化 和 mish激活的组合来生成最终输出:。
3.4. Neck subnets
本文使用 两种 neck中的技术 来提高 网络提取 多尺度目标的 特征信息的能力:空间金字塔池(SPP)(何等,2015)和 路径聚合网络(PAN)(刘等,2018)。
我们在主干的最后一层 插入SPP结构。我们将 四个不同比例的最大池化层的结果 作为SPP模块的输出。最大池化层的kernel 大小分别为13、9和5。SPP结构可以增加感受野,并在骨干网络的最后一层提取重要信息。结构如图6所示。
在SPP结构之后,本文采用 PAN 来进一步 增强信息融合 和 对多尺度特征的敏感性。如图7所示,与特征金字塔网络不同,PAN 向上采样高级特征图,并将信息聚合到低级特征图中。
FIAD网络 在三个有效的特征层上 利用了PANet结构。当特征信息从下至上流动时,由于卷积层的堆叠,基本定位信息很脆弱。为了减少信息丢失,PANet 使用 融合的多尺度特征图 来更好地提取位置信息。因此,PANet 使用 自适应特征池化 来处理不同大小的特征地图,这允许网络逐步学习特征信息。
3.5. Head
为了检测多尺度船舶,本文采用 YOLOv3 的头部结构 从颈部 提取 位置 和 类别信息。如图8所示,我们处理了三层特征,将 检测头 和 颈部 的输入 与 主干的中间层、下层和底层连接起来。当使用(416、416、3)的输入进行检测时,三个链路的输入形状为(52、52、256)、(26、26、512)和(13、13、1024)。这些最后预测一个 用边界框、置信度和类别 编码的三维张量。我们在每个尺度上预测三个边界框,因此张量为分别表示 x偏移、y偏移、h和w、置信度和分类结果。和对应中间层、下层和底层。
3.6. Loss function
Complete Intersection Over Union 完整的IOU(CIOU)(Zheng等人,2020)损失 计算了多个因素,包括目标和锚之间的 距离、重叠率、尺度 和 惩罚项。该策略 使回归更加稳定,并缓解了训练过程中的分歧。
这里,IOU 表示 预测 和 真值 的计算 。测量 预测帧 和 真实帧的中心点之间的欧几里得距离。c表示可以 包含 预测框 和 真实框 的最小闭合区域的 对角线距离,α是一个超参数,定义为:
检测网络将更多地考虑重叠区域。其中v测量纵横比的一致性。
其中,w和h表示检测到的锚的宽度和高度。
然后,我们有CIOU损失:
如图9所示,严重的 类不平衡 误导了方法训练过程。因此,我们将某些类别中数量低于200的图像重新整合为“minority”类,丢弃低质量图像,并从其他类别中随机提取200幅图像。最后,我们形成了一个新的数据集,详细信息如图10所示。
a) FIA模块的有效性:我们在图11和表1中展示了 没有预训练权重的 骨干网性能。可以看出,以CSPDarknet53为骨干的FIA层在所有四分位上都优于原有的CSPDarknet53和Resnet50。例如,提议的FIA-CSPDarknet53比CSPDarknet53和Resnet50平均高出2.9%和4.91%。从表1可以看出,比较CSPDarknet53和FIA-CSPDarknet53的计算复杂度,FLOPs和Trainable Parameters是相等的。另外,从图11可以看出,从精度分布范围比较,FIA-CSPDarknet53更加集中。
b) 改进的BYOL方法有效性:本文在Resnet50上进行了相同设置的实验,结果如图12和表2所示。从图12可以看出,用ModiBYOL和Imagenet权值训练的Resnet50的Q5和Q1 很接近。在四组实验中,原始BYOL预训练权重的性能最不理想。这可能是由于在SAR图像中的船舶是相对较小的物体,具有不同的方向。
图13显示了两种 近岸inshore 场景下各种方法的视觉检测结果。最初的场景中只有一艘船,它位于两个桥墩之间。(b) CenterNet、(c) DAPN、(d)FPN-Faster R-CNN、(e) YOLOV4-TINY、(h)SER-Faster R-CNN、(i) SSD 和 (k) YOLOv4的调查结果 在至少一个码头上进行了错误检测,如图第一行所示。这可能是因为 码头的形状 与 船只的形状相似,欺骗了模型 将码头检测为船只。
与第一种情况相比,第二种情况有更多的船只,并且船只处于不同的位置。(b) CenterNet,(c) SER-Faster R-CNN,(d)Faster R-CNN,(e) YOLOV4-TINY,(h) ARPN,(I)FPN-Faster R-CNN,(j) YOLOv4,以及(k) DAPN在这些方法中 进行了 过度的检测。据信,这是由于 RPN结构的锚框过多,而骨干网络 对船只的 置信度较低。此外,(a) RetinaNet错过了大多数船只,可能是由于探测头的能力差。毕竟,来自(g) YOLOv3和(l) FIAD Net的结果更好。
b)离岸 offshore 船舶检测结果。图14中展示了两种场景下不同方法的视觉检测结果。在第一个场景中,右下的岩石误导了(g) DAPN, (h) FPN-Faster R-CNN,和(i) ARPN到过检测,(a) RetinaNet, (b) SSD, (c) Faster R-CNN, (d) sere -Faster R-CNN, (e) YOLOv4 - tiny, (f) CenterNet, (j) YOLOv3, (k) YOLOv4,而(l) FIAD Net的结果比较表明 FIAD Net产生了最准确的检测。
此外,第二种场景包含5艘船,只有(c) Faster R-CNN进行了重复检测。此外,(c) Faster R-CNN、(d) SER-Faster R-CNN、(g) DAPN、(h) FPN-Faster R-CNN和(i) ARPN的 边界框都相对较大。这可能是因为 RPN结构不能提供理想的锚框。
c)用 整个SSDD数据集 检测结果。表5显示了方法在整个SSDD数据集上的性能。从表5可以看出,FIAD Net在Precision、F1、AP三项得分最高,在Recall三项得分第二高。这意味着 FIAD Net 的综合性能可以与最先进的技术相媲美。
SAR ship 数据集:
从表6可以看出,FIAD Net的F1、Precision和Recall并不突出,但与其他基于CNNs的检测方法处于同一水平。但是,在AP上,FIAD Net作为一种可以综合评价性能的指标表现最好。
在图15的第一种场景中,船舶的显著性受到图像噪声的严重干扰,(c) Faster R-CNN、(d) SSD、(e) FPN-Faster R-CNN和(h) ARPN的检测结果 错误地将左上角的陆地检测为船舶。此外,(f) DAPN和(i) YOLOv3 未能在该图像中检测到任何船只。然而,(a) CenterNet, (b) SER- Faster R-CNN, (g) YOLOv4 - tiny, (j) RetinaNet, (k) YOLOv4,和(l) FIAD Net已经正确检测。
在第二种情况下,船只高度分散。在不同方法的结果中,(g) YOLOV4-TINY, (l) FIAD Net找到了所有的船只,没有任何错误的检测。
在第三个场景中,近岸设施的形状类似于船只。(i) YOLOv3和(j) RetinaNet的结果未能检测到位于右上方的船只。然而,(b) SER-Faster R-CNN, (c) Faster R-CNN, (d) SSD, (e) FPN-Faster R-CNN, (f) DAPN,和(h) ARPN,已经承认近岸设施为船舶。最终,(g) YOLOv4 - tiny, (k) YOLOv4和(l) FIAD Net正确地检测了该船。
从表7和图16可以看出,将呈现结果分为 non -FIA 和 with -FIA组时,有FIA层的方法比没有FIA层的方法效果更好。其中 FIA-CSPDarknet53 结果分布最集中。
此外,图17中展示了CSPDarknet53网络的最后一个卷积层和从头训练的FIA-CSPDarknet53的 激活映射图。与没有FIA层的第二列相比,第三列的激活权重更加集中。此外,第三列中 激活权重的位置 比没有FIA层的位置更准确。近岸场景 的激活图 不如 远岸场景的精确。近岸设施可能是分散网络的影响因素。
远岸上性能提升的不多,还在同一水平。因为 远岸数据集的检测 比 近岸SAR船舶检测的任务级别低。
图18中显示了两幅近岸和两幅离岸图像。FIA模块可以帮助FIAD net 检测准确的目标,并抑制由 珊瑚礁和小岛屿 产生的 假正样本,如第一行所示。FIAD Net正确地定位了第二排的船舶,而YOLOv4未能检测到中间的船舶。YOLOv4 被上部的岸基设施误导了。从第三行可以看出,FIAD Net成功地探测到了所有的船只,而YOLOv4错误地探测到了图像左上角的礁石。YOLOv4也漏掉了第四排左边的船。
在图 19 的第一行中,ImageNet 微调的特征图 专注于陆地起重机,OriBYOL 微调的特征图侧重于 海面和部分船舶,ModiBYOL 微调特征图侧重于图像中的船舶。在第二行中,使用 ImangNet 和 OriBYOL 微调的特征图 专注在错误的位置,而 ModiBYOL 预训练权重 则集中在停泊的船只上。在第三行中,使用 ImageNet 训练的权重 错过了两个目标,使用 OriBYOL 训练的权重也专注在错误的地方,而 ModiBYOL 权重重点 发现了两个目标,未对齐可能是由上采样引起的。最后,在第四行,ImageNet 权重,OriBYOL 权重仍然未命中目标,而 ModiBYOL 权重检测到三个目标中的两个。
从图 20 可以看出,在四种方法的第一行中,使用 ModiBYOL 训练的 FIAD Net 的结果检测到具有最准确边界框的船舶,而从头开始训练的结果和 OriBYOL 错误将礁石检测为船。第二行,a) 所有结果都将中部的三艘船绑定为一艘,底部的两艘大船也绑定为一艘。 b) 使用 VOC2007 预训练权重和 ModiBYOL 权重训练的 FIAD Net 的结果 比从头训练的 FIAD Net 和 OriBYOL 权重更准确。在第三行,从零开始训练的 FIAD Net 只检测到两个目标。第四排,从零开始训练的FIAD Net反复检测到左边的船;使用 VOC2007 预训练权重训练的 FIAD Net 在左下方检测到船舶。总体而言,使用 ModiBYOL 训练的 FIAD 网络在这些场景中表现最好,准确度更高。
Conclusion:
在本文中,探索了 用于 SAR 船舶检测的 基于自监督学习的 骨干网络预训练 。本文提出了一种 新颖的 FIAD net 来实现 快速 SAR 船舶检测。提出的预训练策略:ModiBYOL 帮助 FIAD Net 对 SAR 船舶特征更加敏感,从而避免了大量的人工标注工作。 FIA模块 重新校准FIAD Net的特征图,抑制近岸设施的影响,提高检测精度。从 OpenSARShip 数据集、SSDD 数据集和 SAR 船舶数据集的实验中,本文提出的 FIAD net 的有效性和优越性 通过与其他最先进的 SAR 船舶检测方法进行比较得到证实。