【水下目标检测】Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic S

原文:Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic Scenes
论文收录情况未知，是中科院自动化所的文章
本文是实验性质的文章，代码未开源。

一句话总结：水下图像增强有很多要灌水|毕业的论文，这篇论文就针对水下图像增强（图像修复）与目标检测之间的关系进行实验研究。研究发现，在域内评测的情况下，图像修复反而使得mAP下降，因为图像修复会导致召回效率（召回率效率低意味着在相同的召回率下，精度较低）降低，引发更多的误检。然而图像修复可以缓解域偏移问题，这对水下机器人进行在线检测很重要，因为水下领域具有多样性，得面对域偏移问题，若不进行图像修复，域偏移会导致在线检测精度明显下降。Star：1.5$\star$

Abstract

水下机器人感知通常需要视觉恢复和物体检测，这两者已经研究了很多年。同时，数据域对现代数据驱动的学习过程具有巨大的影响。但是，准确指示域效应，视觉恢复和检测之间的关系仍然不清楚。在本文中，我们研究质量多样的数据域与检测性能之间的关系。同时，我们将揭露视觉还原如何在现实世界的水下场景中为物体检测做出贡献。根据我们的分析，报告了五个关键发现：1）域质量对域内卷积表示和检测精度的影响可以忽略； 2）低质量的域在跨域检测中具有更高的泛化能力； 3）在领域混合学习过程中很难很好地学习低质量领域； 4）视觉还原并不能提升域内检测性能，其召回效率相对较低，导致mAP会下降；5）视觉还原可以缓解域偏移问题，有利于野外在线检测。 最后，作为一个示例，我们成功地使用水上机器人执行了水下物体检测。

1. Introduction

1.1 Background

在过去的几年中，水下机器人技术已经做出了巨大的努力。例如，龚等。设计了用于水下操作的软机器人手臂[1]。蔡等。开发了一种混合驱动的水下车辆操纵器，用于收集海产品[2]。对于智能自主机器人，通常采用视觉方法进行水下场景感知[1] – [4]。

随着卷积神经网络（CNN）的出现，物体检测一直是计算机视觉中的一个热门话题[12] – [15]，与此同时，物体检测是机器人感知的基本策略[16]。基于检测，机器人可以发现目标物和目标。然而，由于光的吸收和散射，水下视觉信号通常会退化并形成低质量的图像/视频[6]。请注意，低质量意味着低对比度，高颜色失真和强雾度。因此，视觉恢复已被广泛研究[6] – [11]，因此可以为后续图像处理提高视觉质量。总体而言，视觉恢复和物体检测是水上机器人执行物体感知的两个基本能力。

1.2 Problem & motivation

尽管视觉恢复已被证明对传统的人造特征很有帮助 （例如，SIFT [17]）[8]，但是图像质量和卷积表示之间的关系仍然不清楚。 如图1所示，水下场景总是退化的，而且退化通常具有不同的样式，即颜色失真，雾度和照明（请参见第一行）。通过基于过滤的恢复（FRS）[10]和基于GAN的恢复（GAN-RS）[11]，可以生成更高质量的图像。尽管图1的每一列都是相同的情况，但是它们的检测结果在DRN检测器中是不同的[15]。因此，恢复和检测的范围应具有潜在的相关性，应进行调查。为此，我们研究回答一个问题——视觉还原对水生场景中的物体检测有何贡献？

此外，视觉还原正好产生变化数据域，众所周知，数据域对于数据驱动的学习过程很重要[21] – [25]。但是，在不同数据域的情况下，很少研究域内和跨域检测性能。即，对物体检测的域效应仍然不清楚。我们认为，探索数据域的影响对于构建可靠的实际检测器具有指导意义。因此，我们有动机研究基于视觉恢复的图像质量与检测性能之间的关系，以揭示物体检测的域效应。这样，还可以揭示恢复与检测的关系。

1.3 Our work

在本文中，我们将联合分析水下机器人感知的视觉恢复和目标检测。首先，我们使用FRS和GAN-RS构建质量多样化的数据域，以进行培训和测试。 FRS是一种传统的过滤方法，而GAN-RS是一种基于学习的方案，因此它们可以代表恢复领域。此外，我们研究了在不同数据域上的典型单级检测器（即，SSD [12]，RetinaNet [14]，RefineDet [13]和DRN [15]），对域内和跨域性能分别为分析。 最后，在海床上进行了在线物体检测的真实实验。根据我们的研究，揭示了基于恢复的数据域与检测性能的关系。结果，尽管图像增强会目标检测产生不利影响，但是视觉恢复有效地抑制了训练图像与实际场景之间的域偏移（即，训练域与测试域之间的不一致）。因此，图像增强仍然在水生机器人感知中起着至关重要的作用。 我们的贡献总结如下：

1. 我们揭示了对检测的三个域影响：1）在充分训练后，域质量对域内卷积表示和检测精度的影响可忽略不计； 2）低质量域在跨域检测方面具有更好的泛化能力； 3）在领域混合训练中，很难很好地学习低质量领域。
2. 我们指出，恢复是提高域内检测准确性的一项吃力不讨好的操作。 详细地说，它降低了召回效率[18]。 但是视觉恢复有利于减少训练数据与实际水生场景之间的域偏移，从而可以提高在线检测性能。 因此，它是现实世界中对象感知的必不可少的操作。
3. 根据我们的分析，使用基于水上视觉的机器人成功地在非结构化海底现场进行了在线物体检测。

2. Related work

2.1 Underwater visual restoration

由于自然的物理现象，水下视觉信号通常会退化，从而形成低质量的视觉。详细地，水下图像/视频显示出低对比度，高色彩失真和强模糊度，从而使图像处理变得困难。 Schechner和Karpel将这种退化归因于视觉吸收和散射[6]。为了克服这一困难，Peng和Cosman提出了一种基于图像模糊和光吸收的恢复方法，该方法估计了图像场景深度[9]。 Chen等，采用过滤模型和人工鱼算法进行实时视觉恢复[10]。 Li等，分层估计背景光和透射图，其方法的特点是信息损失最小[8]。 Chen等，提出了一个监督薄弱的GAN和一个对抗性批评家训练来实现实时的自适应恢复[11]。最近，刘等。为后续工作建立了水下增强基准，该基准的样本是在自然光下在海床上采集的[7]。

通过上述研究，我们发现视觉恢复对清晰图像细节和产生显着的低级特征很有帮助。例如，经典的SIFT [17]算法基于恢复[8]提供了巨大的性能改进。但是，视觉恢复如何促进基于CNN的特征表示尚不清楚。此外，视觉还原与数据域紧密相关，因此我们探索基于还原的域效应。

2.2 Object detection & domain adaption（目标检测与领域自适应）

在深度学习时代，单阶段目标检测使用single-shot网络进行回归和分类。作为一项开拓性的工作，Liu等人，提出了用于实时检测的SSD [12]。 Li 等人受特征金字塔网络的启发，开发了RetinaNet，以自上而下的方式传播CNN特征，以扩大浅层的感受野[14]。张等，在单级管道中引入了两步回归，并设计了RefineDet来解决类不平衡问题。 Chen等，提出的带有锚点偏移检测的DRN实现了单阶段region proposals[15]。尽管某些两阶段检测器[19]和无锚检测器[20]可以产生更高的精度，但是单级方法可以在机器人任务上保持更好的精度-速度trad-off。

以上检测器通常假定训练样本和测试样本落在相同的分布内。但是，现实世界中的数据通常会发生域偏移，从而影响检测性能。因此，近年来探索了对象检测的跨域鲁棒性。 Chen等，提出了基于H-散度理论的图像级和实例级域移位的自适应组件[21]。徐等，利用可变形的组件模型和自适应SVM来缓解域偏移问题[22]。 Raj等。开发了用于在现实场景中检测物体的子空间对齐方法[23]。为了减轻域转移的问题，Khodabandeh等人。利用带有噪声标签的健壮的学习方法[24]。井上等。提出了一种基于域转移和伪标记的跨域弱监督训练，用于域自适应对象检测[25]。

这些工作已经表明了如何缓域偏移问题，但是对域对检测性能的影响进行广泛研究的工作相对较少。相反，基于水下场景，我们研究了质量多样的数据域对目标检测的影响。 Kalogeiton等。分析了基于不同图像质量的检测性能[26]，但我们比他们的工作有优势：1）[26]在深度学习时代之前就已经有报道，但是我们分析了基于深度学习的对象检测； 2）[26]考虑了简单因素（例如高斯模糊）的影响，但我们的域更改是从逼真的视觉恢复中得出的； 3）[26]仅分析了跨域性能，但我们调查了跨域和域内性能； 4）我们的工作为水生机器人技术做出了贡献。

3. Preliminary （准备工作）

3.1 Preliminary of Data Domain Based on Visual Restoration

3.1.1 Domain generation(域生成）

该数据集可公开用于水下物体检测，即``水下机器人采摘大赛20181（URPC2018）’’。该数据集是在中国大连樟子岛的天然海底收集的。 URPC2018由2,901张用于训练的水生图像和800张用于测试的样本组成。此外，它包含四个类别，即“ trepang”，“ echinus”，“ shell”和“ starfish”。基于URPC2018，将生成三个数据域。 1）domain-O：带有训练集和测试集的原始数据集； 2）domain-F：所有样本均经过FRS处理，生成用于训练的train-F集和用于测试的test-F集； 3）domain-G：GAN-RS恢复所有样本，生成用于训练的train-G集和用于测试的test-G集。混合训练，train-F和train-G表示为train-all。

如图2所示，domain-O具有强烈的色彩失真，模糊度和低对比度。退化的视觉样本可在domain-F和domain-G中有效恢复。

3.1.2 Domain analysis（域分析）

根据[11]进行域分析，实验室色彩空间(Lab color space)具有很好的描述图像水下特性的能力。 因此，图3说明了Lab颜色空间中的a-b分布。结果，域O的分布始终远离颜色平衡点（即（128,128））。分布中心与平衡点之间的偏差意味着强烈的色彩失真，并且集中的分布表示强烈的模糊（雾化）。 相反，与域O不同，域F和域G的分布具有颜色平衡和除雾的趋势。

Figure 3. Lab颜色空间中的域可视化。域O的a-b分布集中并且具有颜色偏见。相反，域F和域G的分布比较分散，偏差较小。颜色透明度表示分布概率。

水下彩色图像 质量评估指标（UCIQE）[30]和水下图像质量衡量指标（UICM，UISM，UIConM，UIQM）[31]用于描述领域质量。 UCIQE通过色度，饱和度和对比度来量化图像质量。 UIQM是水下图像的全面质量表示，其中UICM，UISM和UIConM分别描述了颜色，清晰度和对比度。 参考表1，得益于视觉恢复，domain-F带来了最佳的UCIQE和UICM，而domain-G带来了最佳的UISM，UIConM和UIQM。因此，我们将domain-F和domainG定义为具有高质量样本的高质量域。相反，将域O定义为具有低质量样本的低质量域。此外，参考图3和表。 I，GAN-RS具有更好的恢复效果，因此我们定义GAN-RS的恢复强度要高于FRS。

3.2 Preliminary of Detector

根据[29]，在URPC2018上，两阶段方法没有优于单阶段方法的优势。因此，由于具有诱导高精度和实时推理速度的能力，我们利用单级检测器执行水下离线/在线物体检测。详细地，本文研究了SSD，RetinaNet，RefineDet和DRN。所有这些检测器都是根据train，train-F，trainG或train-all来训练的。至于训练细节，可以使用0.9动量和5×10^-4权重衰减的SGD优化器，batch size大小为32。在最初的12×10³迭代步骤中，我们使用初始学习率为10^-3，然后在接下来的3×10³步骤中，使用初始学习率为10^-4。 10⁻⁵用于另外3×10³步。以这种方式，所有检测器可以被充分训练。为了进行评估，采用平均平均精度（mAP）来描述检测精度。

3.3 Preliminary of Aquatic Robot

如图4所示，水上机器人配备了摄像头和柔软的机械臂，可进行在线物体检测和抓取。它的长度为0.68 m，宽度为0.57 m，高度为0.39 m，重量为50 kg。在机器人中，我们部署了一个微型计算机，该微型计算机具有Intel I5-6400 CPU，NVIDIA GTX 1060 GPU和8 GB RAM作为处理器。因此，该机器人具有强大的用于在线物体检测的计算能力。

4. Experiment analysis

4.1 Within-Domain Performance （域内性能测试）

4.1.1 域内性能测试结论

在此测试中，检测器的训练和评估是基于相同的数据域。以下分析将揭示两点结论：（1）域质量对卷积输出的表示没有影响，并不能提升检测性能； （2）图像修复会导致召回效率低的问题，导致mAP下降，注意召回率效率低意味着在相同的召回率下，精度较低[18]，因此对检测性能的提升并没有用，反而会导致检测性能下降。

4.1.2 Numerical analysis（数值分析）

首先，我们训练和评估具有不同输入大小（即320和512）和主干网（即VGG16 [32]，MobileNet [34]和ResNet101 [33]）的SSD。如表II所示，在域O，域F和域G上，SSD320-VGG16的mAP分别为69.3％，67.8％，65.9％，SSD512-VGG16的mAP分别为72.9％，71.3％，69.5％。可以看出，精度随着图像修复强度的提高而降低。 从骨干变量评估中，出现了相同的趋势。请注意，ResNet101的性能不如VGG16和MobileNet，因为ResNet101中的大接收域不利于具有数量庞大的小对象的URPC2018数据集。 参考表III，所有RetinaNet512，RefineDet512和DRN512都可以在域O上实现最高的mAP，而在域G上实现最低的mAP。因此，就mAP而言，检测准确性与域质量负相关。 但是，mAP无法反映准确性的细节，因此以下分析将继续调查域内性能。

4.1.3 Visualization of convolutional representation（卷积表示的可视化）

人类根据对象的显着性来感知领域质量。因此与低质量域相比，人类可以更轻松地在高质量域中检测对象，因为高质量样本包含显着的对象表示。因此，我们受到启发去研究基于CNN的探测器中的物体显着性。 图5演示了SSD和DRN中的多尺度功能。这些特征用作检测头的输入，因此它们是用于检测的最​​终卷积特征。参照图5，尽管域的质量不同，但是在多尺度特征图中对象显着性的差异相对较小。因此，就对象的显着性而言，域质量对卷积表示的影响可以忽略。

4.1.4 Precision-recall analysis（Precision-recall曲线分析）

如图6所示，采用Precision-recall曲线进一步分析检测性能。可以看出，Precision-recall 曲线具有两个典型的特征。一方面，高precision 部分包含高置信度的检测结果，并且此处域O，域F和域G的曲线高度重叠。针对DRN512-VGG16检测到的“echinus(海胆)”，当召回率小于0.6时，域O，域F和域G的曲线高度重合。即，当需要检测高置信度对象时，对于检测精度而言，域差可以忽略不计。 另一方面，曲线在低precision部分中是分开的。详细地，域F的曲线通常低于域O的曲线，而域G的曲线通常低于域F的曲线。即， 当检测难检测的对象时（即，低置信度的检测结果），随着域质量的提高，误检（false positive）会增加。 例如，当通过SSD512-VGG16检测到“海星”的召回率等于0.8时 ，域F的精度低于域O的精度，而域G的精度低于域F的精度。因此，随着恢复强度的增加，召回效率逐渐降低。

根据上述分析，可以得出结论，视==觉恢复会损害召回效率，并且不利于改善域内检测。==此外，由于与域相关的mAP相对较近，在机器人感知中，高置信度的recall 比低置信度的recall要重要得多，因此我们得出结论，领域质量对域内对象检测的影响可以忽略。

4.2 Cross-Domain Performance （跨域性能评测）

4.2.1 跨域性能评测结论

在此测试中，检测器在不同的数据域上进行训练和评估。下面的分析将揭示三个观点：1）domain shift 引起明显的精度下降已被广泛接受； 2）对于跨域推理，基于低质量域的学习对高质量域具有更好的泛化能力； 3）在领域混合学习中，低质量领域的贡献较小，因此无法很好地学习低质量样本。

4.2.2 Cross-domain evaluation (跨域评估）

我们使用域O和域G来评估与方向相关的域偏移。也就是说，我们在train 上训练检测器，并在test-G上对其进行评估，反之亦然。如表IV所示，所有类别的mAP都严重下降。结果，如果使用train和test-G，则SSD512-VGG16的mAP下降17.4％，而DRN512VGG16的mAP下降15.9％。但是，如果采用train-G和test，则SSD和DRN的准确性会更加剧烈地恶化，即mAP下降49.4％和56.3％。根据方向相反的域偏移引起的不同程度的精度下降，可以看出，面向test-G的train 的泛化能力优于面向test的train-G的泛化能力。因此，可以得出结论，与高质量域相比，低质量域具有更好的跨域泛化能力。

4.2.3 Cross-domain training（跨域训练）

为了探索领域混合学习的检测性能，我们使用train-all来训练检测器，然后在test，test-F和test-G上对它们进行评估。参考表V，在test-F和test-G上，SSD512-VGG16和DRN512-VGG16的域内性能均达到同等水平。但是，SSD512-VGG16和DRN512-VGG16在test的精度都显着降低，即mAP下降> 20％。使用相同的训练设置，可以在高质量的Domain-F和Domain-G上类似地产生域内性能，但是低质量的Domain-O会遭受严重的精度下降。也就是说，当采用全部训练时，train 中的样本会在一定程度上失去其作用。因此，我们得出的结论是，跨域训练对于提高检测性能并没有用。此外，质量多样化的数据域对学习过程的贡献也不同，因此，如果将低质量的样本与高质量的样本混合，低质量样本就无法很好地学习。

4.3 Domain-Effect in Robotics (域漂移对水下抓取机器人的影响）

在此测试中，我们使用水上机器人进行了真实的实验。测试地点是位于中国大连金石滩的天然海床。以下分析将回答问题-视觉恢复如何有助于物体检测？

4.3.1 Online object detection in aquatic scenes （在水生场景中进行在线物体检测）

基于我们的水上机器人，我们使用DRN512-VGG16来检测水下物体。根据不同的训练领域，我们将检测方法称为DRN512-VGG16-O，DRN512VGG16-F和DRN512-VGG16-G，分别在train，train-F和train-G上进行训练。如果使用DRN512-VGG16-F或DRN512-VGG16-G，则还应采用相应的视觉恢复（即FRS或GAN-RS）来在线处理数据。如图7所示，DRN512-VGG16O几乎完全失去了其对物体感知的影响。此外，DRN512-VGG16-F和FRS也难以检测水下物体。相反，使用GAN-RS的DRN512-VGG16-G 在此实际任务中具有更高的召回率和检测精度。由于相同的检测方法和训练数据的内容，巨大的性能差距应由训练域引起。 实验视频可在https://youtu.be/RekqnNa0JY0获得。

4.3.2 Online domain analysis （在线域分析）

如图8所示，在线分析中，在线domain和domain-O之间存在巨大差异。DRN512-VGG16-O在检测精度上遭受严重的退化，通过FRS可以控制域移位，但是在这种情况下FRS不足以保持检测性能。相反，GAN-RS具有更高的恢复强度。结果，如图8所示，由GAN-RS处理的在线domain和domain-G高度重叠。因此，DRN512-VGG16-G和GAN-RS能够很好地执行此检测任务。可以看出，随着恢复强度的增加，domain-shift 问题逐渐得到解决。另外，水下场景域是非常多的（见图1），因此无法获得所有领域数据。因此，对于域偏移抑制而言，视觉恢复对于水下环境中的物体检测至关重要。

4.4 Discussion

本文揭示了与领域相关的检测学习现象，我们讨论了以下几点激励未来的研究。

4.4.1 Recall efficiency （召回效率，召回率效率低意味着在相同的召回率下，精度较低）

在域内测试中，由于召回效率低，高质量域会导致较低的检测性能。因此，高质量域会产生更多的误检。 但是，在训练和测试阶段都存在可能带来误检的候选对象。在这种情况下，可以看出对这些候选对象的学习是不够的。因此，我们提倡进一步研究这些候选对象是如何影响训练和推理的，以探索更有效的学习方法。

4.4.2 CNN’s domain selectivity

在跨域训练中，低质量的样本会失去作用，因此在低质量域的测试集上测试准确性会降低。可以看出，CNN的学习有域选择性特点。也就是说，不同域的样本的贡献在基于CNN的检测学习中是不同的。因此，我们提倡对CNN的域选择性进行进一步研究，以构建更强大的实际检测器。

5. Conclusion

在本文中，我们针对基于视觉恢复和目标检测的水下机器人感知领域进行分析。首先，从具有FRS和GAN-RS的URPC2018数据集中获取质量多样化的数据域。此外，对单阶段检测器进行了训练和评估，其中揭示了域内和跨域性能。最后，我们进行在线物体检测以揭示视觉恢复对物体检测的影响。结果，我们得出以下新颖观点：1）域质量对域内卷积表示和检测精度的影响可以忽略； 2）低质量的域有较高的跨域泛化能力； 3）在领域混合学习过程中CNN很难很好地学习低质量领域； 4）视觉还原并不能提升域内检测性能，其召回效率相对较低，导致mAP会下降； 5）视觉恢复对于在线机器人感知至关重要，因为它可以缓解域偏移问题。

将来，我们将进一步探索与领域相关的召回效率和CNN学习中域的选择性问题。此外，根据我们的分析，还将执行更多的机器人任务。