自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self

        合成孔径雷达(SAR)舰船探测(SSD)是一种重要的应用,在商业和军事领域有着广泛的应用。随着遥感技术的发展,大量增加的未标记数据的使用 对模型训练提出了挑战,而 岛礁和近岸设施的干扰 也对SAR舰船探测提出了挑战。本文提出了一种 特征集成注意检测(FIAD)网络 来检测SAR图像中的船舶,即FIAD net。

        FIAD网络有两个贡献:一个基于自监督学习的ModiBYOL方法 和 一个新的特征集成注意(FIA)模块。FIA模块可以增强骨干网的特征学习能力,而ModiBYOL可以利用未标记数据作为骨干网预训练的来源。在OpenSARShip数据集、SAR舰船检测数据集(SSDD)和SAR舰船数据集上的实验表明,所提出的方法以每秒47帧(FPS)的速度达到了与现有方法相当的精度。此外,还通过消融实验研究了该模块的有效性。


        1. Introduction

                合成孔径雷达(SAR)是一种 不受天气和阳光影响 的 主动微波雷达成像平台。这使得 SAR图像成为船舶检测的完美数据源(Atteia和Collins 2015;潘,廖,杨2019)。船舶探测是边境管制、环境保护、交通监视、反走私、搜索、救援等前沿任务的基础(Cui et al. 2019)。随着造船工业和世界贸易的发展,船舶检测变得越来越重要。随着SAR平台的增长,未标记SAR数据的数量也在迅速增加(steel - dunne et al. 2017)。由于 SAR图像标注需要人力和专业知识,自动SAR舰船检测(SSD)方法可以减轻人工劳动,提高下游任务的效率。

                近年来,卷积神经网络(Convolutional Neural Networks, CNN)在计算机视觉领域取得了长足的发展,在各种计算机视觉任务中,CNN的性能已经超过了传统的方法。作为地理信息与计算机视觉的交叉研究领域,基于CNN 的遥感方法也受到了广泛关注(Dong et al. 2020;Liu等。2019;Zhang等。2019;Chen等。2020a;Gao等人,2019;Zhao等,2020;Cui等。2019,2021)。由于遥感图像包含复杂的语义信息,扩大了类内的距离,压缩了类之间的差异(Cheng等,2020),这需要大量的标记训练数据进行监督学习。然而,高人工成本数据中的显式标签可能无法提供足够的特征信息(Chen et al. 2020b)。在这种情况下,如图1所示,更有效的学习过程可以帮助CNNs收敛到更好的解。自监督对比学习能够提取潜在的特征信息,而不是显式标签(Chen等2020 b;Hjelm等人,2019;Oord, Li和Vinyals 2018;他等人;Grill et al. 2020),很少有研究在SSD上采用对比学习。在这种情况下,有必要讨论在SSD中采用自监督的对比学习。因此,本文提出了一种名为ModiBYOL的骨干网络预训练方法,该方法基于SSD任务中的自我对比 self-contrastive学习

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第1张图片

                 SSD中的传统挑战包括 多尺度对象、类别不平衡、斑点噪声 和 由近岸设施引起的干扰。为了克服这些问题,许多工作嵌入了 注意力机制 特征金字塔结构,以增强特征提取能力 和对多尺度对象的敏感性(张等2019;陈等;高等2019;赵等;崔等2019,2021)。然而,这些实现将卷积模块堆叠在检测框架上,并以牺牲速度为代价。因此,在不影响检测速度的情况下提高检测精度有助于提高SSD。本文提出了一种 新的轻量级特征整合注意(FIA)模块,以进一步改善SSD。

                结合ModiBYOL和FIA模块,提出了一种 高速SSD 方法,即FIAD Net。FIAD net的设计原则是 从使用大量未标记数据和增强 CNN 的目标特征提取能力出发。与现有的最先进的SSD方法相比,本文在多个数据集上测试了FIAD Net的检测速度。FIAD Net在SSDD数据集和SAR舰船数据集上取得了与最先进的检测结果相当的效果。

                Contributions:
                ● 提出了一个轻量级的特征集成注意(FIA)模块 增强FIAD网络的特征提取能力。

                ● 提出了一种 SAR舰船 特征敏感的自监督学习方法(ModiBYOL ),帮助主干网络从无标签数据中提取SAR舰船的特征表示和粗略位置

                ● 结合FIA模块、ModiBYOL、YOLOv4(Bochkovskiy、王、廖2020)建立FIAD网络,实现了对SAR舰船速度为47 FPS的准确检测。


        自监督学习:

                从未标记数据中提取特征主要依靠无监督学习。生成模型对比方法是 CNN无监督学习 中使用的两种方法。

                早期的方法 将图像特征 编码成 来自图像 和 潜在嵌入的分布。它采用自动编码(Hinton和Salakhutdinov 2006Pham和Le 2020),以及对抗性训练(Goodfellow等人2014)来 重建图像。因为 生成方法 从像素级恢复特征表示。它的计算成本很高,而且在许多情况下,生成的信息并不是必需的

                最近,对比方法在自监督学习中取得了令人信服的性能(Chen等。2020b;Hjelm等人,2019;Oord, Li和Vinyals 2018;He等。;Grill等,2020年)。对比方法的概念 是 缩小所需特征之间的距离,扩大不需要特征之间的距离

  • Deep InfoMax(DIM) (Hjelm et al. 2019) 最大化了不同级别特征的互信息,以确定图像。DIM 将 卷积编码器的最终输出 作为 全局特征,将编码器的中间层输出 作为 具有受限感受野的局部特征。
  • 对比预测编码(CPC)(Oord, Li和Vinyals 2018) 通过 编码 跨隐空间共享的信息 来学习表征。该算法以 噪声对比估计NCE 作为互信息损失 的基础,实现了对比学习。

                由于 对比方法 对更多的负样本更有效,而且大量的负样本 可能更有效地覆盖潜在分布。

  • 动量对比(MOCO)(He et al.)通过 维持大的负样本队列 有效地解决了这一问题,并在更新负编码器时 丢弃反向传播。
  • SIMCLR(Chen et al. 2020b)首先讨论了 数据增强 的重要性。然后通过 引入特征向量 和 对比损失之间的 可学习非线性变换 来提高学习到的表示的质量。

总的来说,SIMCLR在Imagenet数据集上以8192的小批量实现了最先进的性能。mini-batch 大小的影响是一个不可忽视的重要因素。此外,更强大的数据增强可以帮助CNN 学习到 更鲁棒的特征表示,减轻批量大小带来的副作用 有助于对比方法的研究。

  • 在此之后,BYOL(Grill et al. 2020)提出了一种新的方法,通过 增强 在线网络和目标网络 正对之间的特征表示的学习能力。BYOL实现了高性能,对mini-batch的大小不太敏感。

        因为,对比方法丢弃了生成模块,更容易收敛。这些方法为从无标记SAR舰船数据中学习特征表示提供了新的方向。


        SAR 舰船检测:

                传统的SAR舰船检测 源于显著性检测,主要基于 手工特征、灰度特征、海洋特征 和 极化特征(Pan, Liao and Yang 2019)。由于海面是一个动态的混沌系统(Li, Han and Wang 2012),研究者计算 海杂波强度的统计特征 作为海特征(Gao 2010)。

  • CFAR(Hwang and Ouchi 2010)方法 通过 滑动窗口 将图像中 像素的灰度值 与 自适应阈值进行比较,从而检测目标。该阈值 由杂波窗口周围的像素 和 给定的虚警率产生。通过统计建模自适应确定波形,通过 阈值自适应调整 达到目标CFAR。
  • Cui et al.(Cui et al. 2011)提出了一种基于 迭代选择 的CFAR检测方法。该方法采用 迭代筛选 和 检测 的方法,每次迭代都将 最后检测到的目标像素 从杂波样本中 去除,从而避免了多目标干扰。
  • Leng(Leng et al. 2015)提出了一种 双边CFAR算法,结合SAR图像的 强度分布 和 空间分布,减少 SAR平台 和 海杂波 造成的歧义的影响。

        虽然这些方法能够通过合理设计的特征对舰船进行检测,但基于CFAR的方法仍然受到相干散斑噪声、阈值不合适、对多尺度目标泛化程度低的影响。

                最近,CNN 改进了典型的计算机视觉任务,如目标检测(Ren et al. 2017;Liu等,2016;Redmon等人2016;Redmon and Farhadi 2017,2018;Lin et al. 2017),图像分割(Ronneberger, Fischer and Brox 2015),图像去噪(Zhang et al. 2017;Lyu, Zhang, Han 2020)和图像分类(Krizhevsky, 1488 D. WANG等;Sutskever和Hinton 2012;Simonyan和Zisserman 2015;Szegedy等人2015;He等2016;Xie et al. 2017)。

                在SSD方面,Cui等人(Cui et al. 2019)提出了一种 密集注意力金字塔网络(DAPN)来检测SAR图像中的船只。DAPN在Faster R-CNN框架上集成了特征金字塔网络(Lin et al. 2017)和CBAM(Woo et al. 2018)注意模块。在DAPN中,FPN增强了对多尺度目标的敏感性,CBAM有助于提取更多的语义特征表示。

                Lin等人(Lin et al. 2019)利用 排序机制 改进了 压缩激励网络,以提高SSD的性能。Zhao et al.(Zhao et al. 2020)在Faster R-CNN上提出了一种结合RFB和CBAM的网络,对船舶的多尺度特征进行编码,并通过细粒度特征金字塔细化冗余信息。

                Gao等人(Gao et al. 2019)引入了一种改进的RetinaNet (Lin et al. 2020),通过集成注意模块、FPN和分裂卷积块来减少特征和空间信息的损失。

                Jiang等人(Jiang et al. 2021)提出了一种基于YOLO-V4 Tiny的高速SSD方法。YOLO-V4 Tiny使用 拉普拉斯金字塔 非下采样Contourlet变换 作为预处理方法,实现了具有竞争力的精度。

        一般来说,在现代SSD方法中,FPN结构通常用于提取多尺度特征信息,包括注意力层在内的附加模块也有助于进一步提高性能。因此,现代SSD方法堆积了更多的网络层以牺牲计算复杂度 来提高检测精度。因此,有必要对提高SSD综合性能 的预处理操作和方法结构进行研究。


        很少有研究探讨在SSD模型的主干网络预训练中采用未标记的SAR舰船数据。受对比学习方法有效性的激励,本文在SSD模型预训练中采用了自监督对比学习方法。此外,为了提高SSD的目标检测精度,提出了一种 新的特征整合注意力(FIA)模型。因为SSD 精度的提高 通常导致 计算复杂度 和 推断时间的增加。本文提出的FIA模块高度集成到 几乎不增加计算复杂度的 检测框架中。

        基于以上分析,在本节中,将详细介绍所提出的方法。首先,介绍了FIAD net 的主要结构。其次,提出了 SAR数据 定制的自监督学习方法 ModiBYOL。第三,介绍了 嵌入了FIA模块的主干网络。第四,介绍了FIAD网络的 neck 模块。第五,带来了FIAD网的 检测头。第六,推导了计算 训练损失 的公式。

        图2中展示了所提出的方法的流程图。该方法包括两个主要部分:一个名为 ModiBYOL 的自监督训练模块 和 检测框架FIAD Net。首先,我们使用 ModiBYOL 训练FIA-CSP DarkNet 骨干网,从未标记的SAR数据中学习SAR舰船的特征表示,然后,使用预训练的权值 对检测网络进行微调,进行进一步的监督训练。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第2张图片

         图3给出了ModiBYOL方法的计算图。如图3所示,ModiBYOL方法的主要思想 是通过一个 在线网 和 一个目标网 来学习进一步下游任务的表示。在线网络 和 目标网络具有相同的网络结构,但在权值(θ)更新上采用不同的策略:带对比损失的反向传播 基于参数的加权动量回归

 其中,τ∈[0,1]。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第3张图片

         如式(1)所示,首先,给定图像x;我们用不同的增强方法 t 和 t’ 生成了两个图像(v和v’ ),我们有v=t(x) 和v' = t' (x) 。其次,在在线网中,我们使用在线网络 fθ 来学习特征表示,然后我们有y=fθ(v)。之后,我们使用 多个全连接层 来 重新投影编码的特征z=gθ(y)。

        与在线网络相同,目标网络编码和重新投影 y'=fε(v') 和 z'=gε(y')。

        最后,我们使用 对比损失 来计算 z 和 z'之间的差异;我们在等式(2)中给出对比损失:

 其中,是 预测器qθ 和zε的归一化。

         由于SSD任务中的 舰船通常是作为一个完整的目标来检测的,并且 舰船具有旋转不变性,这些先验知识与一般的目标检测有很大的不同。因此,本文 修改了SSD预训练中 的数据增强策略。不同于工作(Grill等人2020;陈等2020b)中使用的增强方法。本文利用 颜色抖动、水平翻转、垂直翻转、随机旋转 和 随机灰度 对SAR船进行预训练。转换后的结果可以在图4中看到。

 自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第4张图片

         CSPNet (王等,2020)是一种先进的主干网络,可以提取特征表示,并为下游模块 提供粗略的位置信息 (周等,2016)。本文提出 FIA-CSP darknet53 作为骨干网络。我们在图5中展示了FIA-CSP darknet53的结构,FIA-CSPdarknet的四个主要组成部分如下。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第5张图片

         3.3.1 Cross stage partial residual block 跨阶段部分残差块

                在部分残差块的一个阶段,我们通过 通道将特征张量 分成两部分。在它们之间,被直接传送到该阶段的末端,将经过一个残差块。之后,两个分支的输出将遇到 一个特征集成层,以增强 对SAR数据的某些特征的 提取能力。然后 连接两个部分,并使用 partial transition layer 部分过渡层 来生成此阶段的输出。

 自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第6张图片

         3.3.2  Partial residual block 部分残差块

                部分残差块有三个作用:1) 增加梯度路径,在反向传播时可以更好地训练。2) 重新平衡每一层的计算,特别是瓶颈结构。3) 减少内存消耗,处理 部分特征信息 可以减少特征传输的流量。经过部分残差块后,我们有

 自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第7张图片

         3.3.3. Feature integration attention (FIA) module 特征整合注意力模块

                 由于 CSP网络 采用 跨阶段部分策略降低计算复杂度。张量中的特征表示 可能需要自适应增强,因此,本文提出了一种 在部分残差块之后 的轻量级通道注意层

                主要步骤如下:

  • 首先,使用 全局平均池化 生成相应的 通道级权重,这几乎不需要计算成本。
  • 其次,对生成的权重进行求和,以实现 不同级别 语义信息的特征融合
  • 第三,使用sigmoid激活函数 对生成的权重进行归一化
  • 第四,通过权重和 相应张量之间的内积 实现通道注意力机制

 自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第8张图片

         3.3.4. Partial transition layer 部分过渡层

                部分过渡层 可以 放大梯度组合的差异。部分过渡层可以 截断梯度流,以 防止学习冗余的特征信息。部分过渡层通过 连接实现:。然后使用 卷积层、批量归一化 和 mish激活的组合来生成最终输出:

         3.4. Neck subnets 

                本文使用 两种 neck中的技术 来提高 网络提取 多尺度目标的 特征信息的能力:空间金字塔池(SPP)(何等,2015)和 路径聚合网络(PAN)(刘等,2018)。

                我们在主干的最后一层 插入SPP结构。我们将 四个不同比例的最大池化层的结果 作为SPP模块的输出。最大池化层的kernel 大小分别为13、9和5。SPP结构可以增加感受野,并在骨干网络的最后一层提取重要信息。结构如图6所示。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第9张图片

        在SPP结构之后,本文采用 PAN 来进一步 增强信息融合 和 对多尺度特征的敏感性。如图7所示,与特征金字塔网络不同,PAN 向上采样高级特征图,并将信息聚合到低级特征图中

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第10张图片

                FIAD网络 在三个有效的特征层上 利用了PANet结构。当特征信息从下至上流动时,由于卷积层的堆叠,基本定位信息很脆弱。为了减少信息丢失,PANet 使用 融合的多尺度特征图 来更好地提取位置信息。因此,PANet 使用 自适应特征池化 来处理不同大小的特征地图,这允许网络逐步学习特征信息。

        3.5. Head

                 为了检测多尺度船舶,本文采用 YOLOv3 的头部结构 从颈部 提取 位置 和 类别信息。如图8所示,我们处理了三层特征,将 检测头 和 颈部 的输入 与 主干的中间层、下层和底层连接起来。当使用(416、416、3)的输入进行检测时,三个链路的输入形状为(52、52、256)、(26、26、512)和(13、13、1024)。这些最后预测一个 用边界框、置信度和类别 编码的三维张量。我们在每个尺度上预测三个边界框,因此张量为分别表示 x偏移、y偏移、h和w、置信度和分类结果。和对应中间层、下层和底层。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第11张图片

         3.6. Loss function

                Complete Intersection Over Union 完整的IOU(CIOU)(Zheng等人,2020)损失 计算了多个因素,包括目标和锚之间的 距离、重叠率、尺度 和 惩罚项。该策略 使回归更加稳定,并缓解了训练过程中的分歧。

 

                 这里,IOU 表示 预测 和 真值 的计算 测量 预测帧 和 真实帧的中心点之间的欧几里得距离。c表示可以 包含 预测框 和 真实框 的最小闭合区域的 对角线距离,α是一个超参数,定义为:

                 检测网络将更多地考虑重叠区域。其中v测量纵横比的一致性。

 

                 其中,w和h表示检测到的锚的宽度和高度。

                然后,我们有CIOU损失:


自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第12张图片

        如图9所示,严重的 类不平衡 误导了方法训练过程。因此,我们将某些类别中数量低于200的图像重新整合为“minority”类,丢弃低质量图像,并从其他类别中随机提取200幅图像。最后,我们形成了一个新的数据集,详细信息如图10所示。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第13张图片

        a) FIA模块的有效性:我们在图11和表1中展示了 没有预训练权重的 骨干网性能。可以看出,以CSPDarknet53为骨干的FIA层在所有四分位上都优于原有的CSPDarknet53和Resnet50。例如,提议的FIA-CSPDarknet53比CSPDarknet53和Resnet50平均高出2.9%和4.91%。从表1可以看出,比较CSPDarknet53和FIA-CSPDarknet53的计算复杂度,FLOPs和Trainable Parameters是相等的。另外,从图11可以看出,从精度分布范围比较,FIA-CSPDarknet53更加集中。

 自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第14张图片

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第15张图片

         b) 改进的BYOL方法有效性:本文在Resnet50上进行了相同设置的实验,结果如图12和表2所示。从图12可以看出,用ModiBYOL和Imagenet权值训练的Resnet50的Q5和Q1 很接近。在四组实验中,原始BYOL预训练权重的性能最不理想。这可能是由于在SAR图像中的船舶是相对较小的物体,具有不同的方向

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第16张图片

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第17张图片

         图13显示了两种 近岸inshore 场景下各种方法的视觉检测结果。最初的场景中只有一艘船,它位于两个桥墩之间。(b) CenterNet、(c) DAPN、(d)FPN-Faster R-CNN、(e) YOLOV4-TINY、(h)SER-Faster R-CNN、(i) SSD 和 (k) YOLOv4的调查结果 在至少一个码头上进行了错误检测,如图第一行所示。这可能是因为 码头的形状 与 船只的形状相似,欺骗了模型 将码头检测为船只

        与第一种情况相比,第二种情况有更多的船只,并且船只处于不同的位置。(b) CenterNet,(c) SER-Faster R-CNN,(d)Faster R-CNN,(e) YOLOV4-TINY,(h) ARPN,(I)FPN-Faster R-CNN,(j) YOLOv4,以及(k) DAPN在这些方法中 进行了 过度的检测。据信,这是由于 RPN结构的锚框过多,而骨干网络 对船只的 置信度较低。此外,(a) RetinaNet错过了大多数船只,可能是由于探测头的能力差。毕竟,来自(g) YOLOv3和(l) FIAD Net的结果更好。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第18张图片


        b)离岸 offshore 船舶检测结果。图14中展示了两种场景下不同方法的视觉检测结果。在第一个场景中,右下的岩石误导了(g) DAPN, (h) FPN-Faster R-CNN,和(i) ARPN到过检测,(a) RetinaNet, (b) SSD, (c) Faster R-CNN, (d) sere -Faster R-CNN, (e) YOLOv4 - tiny, (f) CenterNet, (j) YOLOv3, (k) YOLOv4,而(l) FIAD Net的结果比较表明 FIAD Net产生了最准确的检测

                此外,第二种场景包含5艘船,只有(c) Faster R-CNN进行了重复检测。此外,(c) Faster R-CNN、(d) SER-Faster R-CNN、(g) DAPN、(h) FPN-Faster R-CNN和(i) ARPN的 边界框都相对较大。这可能是因为 RPN结构不能提供理想的锚框

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第19张图片

        c)用 整个SSDD数据集 检测结果。表5显示了方法在整个SSDD数据集上的性能。从表5可以看出,FIAD Net在Precision、F1、AP三项得分最高,在Recall三项得分第二高。这意味着 FIAD Net 的综合性能可以与最先进的技术相媲美

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第20张图片


        SAR ship 数据集:

                从表6可以看出,FIAD Net的F1、Precision和Recall并不突出,但与其他基于CNNs的检测方法处于同一水平。但是,在AP上,FIAD Net作为一种可以综合评价性能的指标表现最好。

                在图15的第一种场景中,船舶的显著性受到图像噪声的严重干扰,(c) Faster R-CNN、(d) SSD、(e) FPN-Faster R-CNN和(h) ARPN的检测结果 错误地将左上角的陆地检测为船舶。此外,(f) DAPN和(i) YOLOv3 未能在该图像中检测到任何船只。然而,(a) CenterNet, (b) SER- Faster R-CNN, (g) YOLOv4 - tiny, (j) RetinaNet, (k) YOLOv4,和(l) FIAD Net已经正确检测。

                在第二种情况下,船只高度分散。在不同方法的结果中,(g) YOLOV4-TINY, (l) FIAD Net找到了所有的船只,没有任何错误的检测。

                在第三个场景中,近岸设施的形状类似于船只。(i) YOLOv3和(j) RetinaNet的结果未能检测到位于右上方的船只。然而,(b) SER-Faster R-CNN, (c) Faster R-CNN, (d) SSD, (e) FPN-Faster R-CNN, (f) DAPN,和(h) ARPN,已经承认近岸设施为船舶。最终,(g) YOLOv4 - tiny, (k) YOLOv4和(l) FIAD Net正确地检测了该船。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第21张图片

        从表7和图16可以看出,将呈现结果分为 non -FIA 和 with -FIA组时,有FIA层的方法比没有FIA层的方法效果更好。其中 FIA-CSPDarknet53 结果分布最集中。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第22张图片

         此外,图17中展示了CSPDarknet53网络的最后一个卷积层和从头训练的FIA-CSPDarknet53的 激活映射图。与没有FIA层的第二列相比,第三列的激活权重更加集中。此外,第三列中 激活权重的位置 比没有FIA层的位置更准确近岸场景 的激活图 不如 远岸场景的精确近岸设施可能是分散网络的影响因素

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第23张图片

        远岸上性能提升的不多,还在同一水平。因为 远岸数据集的检测 比 近岸SAR船舶检测的任务级别低

        图18中显示了两幅近岸和两幅离岸图像。FIA模块可以帮助FIAD net 检测准确的目标并抑制由 珊瑚礁和小岛屿 产生的 假正样本,如第一行所示FIAD Net正确地定位了第二排的船舶,而YOLOv4未能检测到中间的船舶。YOLOv4 被上部的岸基设施误导了。从第三行可以看出,FIAD Net成功地探测到了所有的船只,而YOLOv4错误地探测到了图像左上角的礁石。YOLOv4也漏掉了第四排左边的船。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第24张图片

         在图 19 的第一行中,ImageNet 微调的特征图 专注于陆地起重机,OriBYOL 微调的特征图侧重于 海面和部分船舶,ModiBYOL 微调特征图侧重于图像中的船舶。在第二行中,使用 ImangNet 和 OriBYOL 微调的特征图 专注在错误的位置,而 ModiBYOL 预训练权重 则集中在停泊的船只上。在第三行中,使用 ImageNet 训练的权重 错过了两个目标,使用 OriBYOL 训练的权重也专注在错误的地方,而 ModiBYOL 权重重点 发现了两个目标,未对齐可能是由上采样引起的。最后,在第四行,ImageNet 权重,OriBYOL 权重仍然未命中目标,而 ModiBYOL 权重检测到三个目标中的两个。

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第25张图片

         从图 20 可以看出,在四种方法的第一行中,使用 ModiBYOL 训练的 FIAD Net 的结果检测到具有最准确边界框的船舶,而从头开始训练的结果和 OriBYOL 错误将礁石检测为船。第二行,a) 所有结果都将中部的三艘船绑定为一艘,底部的两艘大船也绑定为一艘。 b) 使用 VOC2007 预训练权重和 ModiBYOL 权重训练的 FIAD Net 的结果 比从头训练的 FIAD Net 和 OriBYOL 权重更准确。在第三行,从零开始训练的 FIAD Net 只检测到两个目标。第四排,从零开始训练的FIAD Net反复检测到左边的船;使用 VOC2007 预训练权重训练的 FIAD Net 在左下方检测到船舶。总体而言,使用 ModiBYOL 训练的 FIAD 网络在这些场景中表现最好,准确度更高

自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self_第26张图片


        Conclusion:

                在本文中,探索了 用于 SAR 船舶检测的 基于自监督学习的 骨干网络预训练 。本文提出了一种 新颖的 FIAD net 来实现 快速 SAR 船舶检测。提出的预训练策略:ModiBYOL 帮助 FIAD Net 对 SAR 船舶特征更加敏感,从而避免了大量的人工标注工作。 FIA模块 重新校准FIAD Net的特征图,抑制近岸设施的影响,提高检测精度。从 OpenSARShip 数据集、SSDD 数据集和 SAR 船舶数据集的实验中,本文提出的 FIAD net 的有效性和优越性 通过与其他最先进的 SAR 船舶检测方法进行比较得到证实。

你可能感兴趣的:(论文阅读笔记,计算机视觉,人工智能,深度学习,机器学习)