UFA-FUSE：一种用于多聚焦图像融合的新型深度监督混合模型

点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达

小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

传统的融合方法和基于深度学习的融合方法通过一系列后处理过程生成中间决策图，得到融合图像。然而，这些方法产生的融合结果容易丢失源图像的一些细节或产生伪影。受到基于深度学习的图像重建技术的启发，我们提出了一种不需要任何后处理的多焦点图像融合网络框架，以端到端监督学习的方式解决这些问题。为了充分训练融合模型，我们生成了一个包含地面真实融合图像的大规模多聚焦图像数据集。为了获得信息更丰富的融合图像，进一步设计了一种基于统一融合注意的融合策略，该融合策略由通道注意模块和空间注意模块组成。

具体而言，本文提出的融合方法主要包括三个关键部分：特征提取、特征融合和图像重建。

我们首先利用七个卷积块从源图像中提取图像特征。然后，在特征融合层，利用所提出的融合策略对提取的卷积特征进行融合。最后，通过四个卷积块重构融合后的图像特征。实验结果表明，与目前最先进的19种多聚焦图像融合方法相比，该方法具有显著的融合性能。

论文创新点

提出了一种新的多聚焦图像融合模型。融合模型可以端到端训练，不需要任何后处理过程，直接获得融合图像，不需要生成中间决策图。为了有效地训练融合模型，我们创建了一个包含ground-truth融合图像的大规模多聚焦图像数据集。为了获得高质量的融合图像，我们设计了一种基于统一融合注意机制的融合策略。首先在特征提取模块中对源图像进行7个卷积块叠加提取。然后利用所提出的融合策略对提取的图像特征进行融合。最后，对融合后的图像特征进行四个卷积块叠加重构，生成融合图像。此外，我们进行了大量的实验来评估我们所提出的融合模型的性能。定性评价和定量评价的结果表明，我们的融合模型取得了显著的效果，优于目前最先进的多聚焦图像融合算法。总的来说，我们的工作对多焦点图像融合的主要贡献有四个方面：

• 为了实现多焦点图像融合，建立了一个大规模的多焦点图像数据集。数据集中生成的多焦点图像具有部分聚焦和不同模糊程度，适合于融合模型的训练。此外，我们还介绍了如何生成大规模的多焦点图像数据集，这对制作数据集有很大的参考意义。

• 设计了一种新颖、合适的融合策略。基于所提出的统一融合注意力的融合策略能够有效地融合所提取的图像特征，同时比其他简单的融合策略更加灵活。

• 提出了一种不需要任何后处理过程的端到端融合框架。这样，融合模型中的所有参数都可以联合优化，融合网络可以直接输入融合图像，而无需生成中间决策图。

• 在红外和可见光图像数据集以及医学图像数据集上进行了一些扩展实验。进一步，我们提出的融合模型在其他融合任务的潜在应用。

模型架构

我们提出的融合框架主要包括三个部分:特征提取、特征融合和图像构建。首先，在特征提取模块中，我们采用7个堆叠的卷积块从多焦点源图像中提取图像特征，卷积块由一个核大小为3 3的卷积层和leakyRelu激活函数组成。对于输入源图像的每个卷积特征，利用我们提出的特征融合模块对得到的特征进行融合。最后，使用由四个堆叠的卷积块组成的图像构造模块对融合后的图像特征进行重构，生成融合图像。此外，为了获得更准确的融合图像，我们在训练阶段使用损失函数L来训练我们的融合网络。

在特征融合过程中，我们提出了一种新的特征融合策略。具体来说，我们的融合策略是基于统一融合注意力，并在这种高效架构的基础上开发通道和空间注意力。UFA模块的演示如图上图所示。

实验结果

结论

本文提出了一种新颖有效的图像融合模型，该模型采用有监督学习策略进行端到端训练。该方法避免了生成中间决策图，并利用后处理程序对决策图进行细化，实现了图像融合。此外，为了对所提出的融合模型进行精细训练，我们生成了一个包含ground-truth融合图像的大规模多焦点图像数据集，并设计了一种基于统一融合注意力的融合策略，在特征融合过程中可以保留更多的图像信息。首先从多个输入图像中提取出显著特征。然后利用提出的统一融合注意对提取的卷积特征进行融合。最后，将融合后的图像特征输入到级联的卷积块中重建融合图像。实验结果表明，本文所提出的融合算法能够产生高质量的融合图像。此外，对扩展实验的定性和定量评价也表明我们所提出的融合框架在其他图像融合任务中是有效的。

论文链接：https://arxiv.org/abs/2101.04506

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。

小白团队出品：零基础精通语义分割↓↓↓

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~