文献阅读笔记5——《Composited FishNet: Fish Detection and Species Recognition From Low-Quality ...》

《Composited FishNet: Fish Detection and Species Recognition From Low-Quality Underwater Videos》

写文章模板论文

Abstact

重要意义：水下视频中鱼类的自动检测和识别对于渔业资源评估和生态环境监测具有重要意义。
问题和挑战：由于水下图像质量差和鱼无约束运动，传统的手动特征提取方法或基于卷积神经网络的目标检测算法无法满足真实水下场景的检测要求。
引出研究内容：了实现复杂水下环境下的鱼类识别和定位，提出了一种基于复合主干和增强路径聚合网络的复合鱼类检测框架——复合鱼网。通过对残差网络(ResNet)的改进，设计了一种新的复合骨干网络(CBresnet)来学习场景变化信息(源域风格)。
**【适当解释名词】**这种变化是由图像亮度、鱼类方位、海底结构、水生植物运动、鱼类种类形状和纹理差异引起的。
研究内容的优点：这样，减少了水下环境信息对目标特征的干扰，加强了主网络对目标信息的输出。
第二个创新点：此外，为了更好地整合CBresnet输出的高低特征信息，还设计了增强路径聚合网络(EPANet)来解决线性上采样带来的语义信息利用率不足的问题。
实验结果佐证：所提出的复合鱼网的平均精度为0.5:0.95，平均召回率分别为75.2%、92.8%和81.1%。复合骨干网络增强了被检测对象的特征信息输出，提高了特征信息的利用率。该方法可用于海洋和水产养殖等复杂水下环境中的鱼类检测和识别。

背景介绍

研究背景：鱼类的准确和自动识别不仅可以监测鱼类的生物多样性，还可以为海洋资源管理、生态系统监测和商业鱼类养殖提供重要的数据支持。
理论背景：由应用背景引出理论背景，指明应用背景研究困难，以此间接证明选题的意义。
【由小往大了说】分类说明鱼类检测任务和识别任务的不同。
共同点：机器视觉->阐述机器视觉意义
鱼类检测的目的是检测物体并将其从背景中分离出来，鱼类识别的目的是识别被检测的鱼类种类。机器视觉具有非接触监测、长期稳定工作、应用范围广等优点，已被证明是一种低成本、可靠的方法。
【由大往小了说】
重点论述水下图像处理：1.由水下复杂环境造成的2.与陆地图像的不同3.水下图像挑战具体阐述4.列举多种问题->引出综述部分
然而，复杂的水下环境给鱼类识别带来了巨大的挑战。与陆地图像相比，水下图像通常具有偏色和低对比度的特点，沉积物会导致水下图像模糊。

综述
先列举大方向（目标检测、目标跟踪）再列举小方向（水下目标检测、目标跟踪）
再大方向使用到小方向的内容时，添加小方向相关
综述总结：因此，有必要有效地学习多个水下源域信息，解决水下场景的重叠、遮挡和模糊问题，从而进一步提高水下目标检测的精度。
从而引出本文方法

OURS
为了解决这些问题，本文提出了一种基于复合主干网和增强路径聚合网络（compositedfishnet）的新型复合框架。通过向主干网添加辅助主干网，加强了来自主干网的对象信息的输出。
图1示出了有辅助网络和没有辅助网络的骨干网络输出的特征信息的比较。另外，为了进一步提高底层特征信息的融合利用率，解决线性上采样导致的特征信息利用率不足的问题，主干网输出的高、低层特征信息的多尺度融合是通过原始结构中的跳跃连接和像素混洗实现的。本文将组合骨干网的思想应用于水下源域信息的学习，有利于现有算法进一步提高水下目标检测的精度。
主要贡献
1.在主流网络ResNet主干网络上增加了一个辅助网络（源域主干网络）来学习源域信息。利用相邻的高层合成将辅助网络与骨干网络连接起来，消除了复杂源域信息对目标特征的干扰，也有利于下一步特征信息融合。
2.为了解决FPN网络中的线性上下采样不能有效利用主干网络输出的对象特征信息的问题。本文采用了像素混洗上采样的设计和较小的卷积核学习上采样信息。
3.在损失函数的设计上，考虑了鱼类数量的巨大差异。为了使生成的正样本和负样本的比例接近1：3，损失函数在回归分类中使用focal loss函数，候选框损失函数使用Iou loss。
4.使用组合主干网络的思想来学习水下源域信息，以提高目标特征提取的性能。

相关工作

A。主干网络
背景主干网络作用：在目标检测算法中，主干网络充当基本特征提取器，其任务是输出相应图像的特征图。大多数骨干网络设计用于分类任务，这不利于目标定位。为了更好地满足特定要求，新设计的主干用于特征提取。在需要高精度的任务中，研究人员可以选择具有更深网络层和更高密度的主干网络，如残余网络（ResNet）。
为了检测精度更好，使用更深、更紧密连接的主干来取代原来的浅连接、稀疏连接的主干。
主干网络充当检测任务的特征提取器，功能质量决定了网络性能的上限

B。两阶段目标检测
RCNN：将CNN引入检测任务
FastRCNN和SPPnet引入区域特征提取思想
Faster Rcnn引入RPN实现加速

C。评价指标
MS-COCO（Iou=0.5：0.05：0.95）
AP50（Iou=0.5）
AP75（Iou=0.5：0.95）
ARmax=1（Iou=0.5：0.95）
ARmax=10（Iou=0.5：0.95）
ARmax=100（Iou=0.5：0.95）

模型

陆地目标检测和水下目标检测主要区别：图像源域风格不同。当前主流目标检测缺乏对网络结构中源域信息的学习。
复杂源域信息指：亮度、鱼类位置、海底结构、水生植物运动、鱼类形状和纹理差异引起的场景变化。
客服源域信息对目标的干扰有助于提高检测精度。
水下图像增强：视觉恢复无法提高该领域的检测性能，召回率相对较低，导致特征映射减少

骨干网络：Cascade RCNN的backbone：ResNet
加入辅助骨干网络，在不使用Fish的情况下学习源域的背景信息。
通过up-conv的方法从上层骨干网络特征信息中减去学习到的背景特征，消除冗余背景特征信息。
左高右低（相邻高层合成）特征信息融合更有利于增强目标特征信息。
FPN中，使用最邻近插值或者双线性插值。
上采样核仅由像素的空间位置确定，不使用特征映射上的语义信息。
因此，本文将上采样改为像素混洗，更关注鱼的形状特征信息。（解决了线性上采样导致的特征语言信息利用不足的问题）
为了使正负样本比例接近1：3，回归分类中的损失函数使用Focal loss，候选框函数使用Iou loss。

A.模型网络结构
两阶段分为：骨干 颈（特征网络） rpn_head roi_head
辅助主干网络被称为源域主干网络，用于学习源域的背景信息。
为消除复杂源域信息干扰，通过使用相邻高层合成方法，从主干中特征信息减去从辅助特征网络中学习的源域信息。

利用骨干网络的目标输入加强特征信息，有利于特征信息融合。
不同的高底层特征融合后（EPAnet）将生成2000多个候选框，使用Cascade RCNN识别正负样本，对候选框过滤和分类。

---

B.主干网络的对比设计
本文使用组合主干网，在原有主干网的基础上增加源域主干网，可以自适应学习每个源域场景信息。
通过辅助残差块网络学习的特征信息具有更高语义信息，高级特征语义信息和骨干网络特征信息的融合可以更好的挖掘图像中的目标信息。

---

C.特征网络的设计
任务：识别各种形状和大小的物体
解决方案：构造一个多尺度特征金字塔。利用卷积网络特点，构造不同大小的特征映射，实现高低语义信息的融合。
FPN引入自顶向下的通道
PANet在结构上优于FPN，增加了一个自底向上的通道。采样方法中仍使用线性插值，导致原始高级特征信息在上采样过程中再次丢失。
为提高骨干网络输出的高级和低级特征信息的利用率，采用跳转连接的方法来将骨干网络输出信息与EPAnet输出信息合并。
针对上采样不能很好的学习和重建高分辨率特征地图信息的问题，将PAnet中上采样的办法替换成PixelShuffle上采样方法。
通过多通道融合，学习相邻像素，使重建的特征图像纹理信息更加丰富，而不是简单的线性插值。
BiFPN使用跳连，但是BiFPN本质为高效主干网络设计，不适用ResNet。

---

D.损失函数
IoU loss将位置信息视为一个整体进行训练，最小二乘误差（I2）损失函数将其作为四个独立变量进行训练。
focal loss可以降低易分类样本权重，使训练模型在训练过程中更加关注难分类样本。

实验

A.数据集
20个视频，15种鱼

相关水下复杂场景中问题如上所示。
1） 低分辨率水下鱼类视频。在低质量的视频中，鱼类的纹理特征信息丢失，使得识别具有相似特征的鱼类更加困难。
2） 运动模糊。由于使用视频序列进行鱼类物种识别，鱼类在向下游移动时不可避免地会产生运动模糊。在光线不足的情况下，不同鱼类的形态几乎没有差异。
3） 复杂的海底背景。这20组视频都有不同的珊瑚礁背景和移动植物纹理。这导致检测算法的FP率增加，召回率降低。
4） 伪装色。视频中存在大量与背景颜色相似的鱼类纹理信息，人眼很难区分背景和鱼类。这一问题对鱼类物种鉴定产生了重大影响。
5） 检测对象具有遮挡，并且图像对比度低。视频中鱼的密度很高，由于光线的反射，鱼的纹理特征信息严重丢失。这些问题给鱼类识别和检测带来了特殊的挑战，尤其是在存在障碍物的情况下要实现高地图时。
6） 鱼类种类繁多，体型较小。在一些视频中，鱼的种类繁多，而且大多数对象都很小且模糊，这大大增加了鱼的识别难度。
7） 复杂多变的水下环境。数据集是在不同的时间段和场景中收集的。因此，除了不同的水下环境外，采集的水下视频还存在同一采集场景导致不同光强下场景发生明显变化的现象。这不利于通过网络模型学习目标信息，从而减少模型的泛化（如图7（c）、图7（e）、图7（f）所示，在同一位置的不同时间段拍摄）。

---

B.模型训练细节
训练集和验证集：0.85：0.15（4486和792）
测试集：800张
单尺度策略（短边调整为800，长边限制在1333）+翻转来增强图像。

参数略。

---

C.与先进方法比较


D.鱼类种类检测的比较

---

E.运行速度比较

F.交叉验证
G.复合主干特征增强效应
进一步验证所提出的特征网络是否提高检测精度
将主干网络信息可视化

证明辅助网络可以增强目标特征信息。
H.消融实验