帮推|基于深度学习的图像融合方法综述

基于深度学习的图像融合方法综述

博主朋友关于图像融合的综述论文基于深度学习的图像融合方法综述已被《中国图象图形学报》正式接收！
极力推荐想要入门图像融合领域的小伙伴下载学习，此外希望在图像融合领域深耕的朋友又可以从论文中总结的挑战和展望获取一些新的思路。

综述摘要：

图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面地表征成像场景并促进后续的视觉任务。近年来，随着深度学习的兴起，基于深度学习的图像融合算法如雨后春笋般涌现。特别是自编码器，生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。然而，目前尚缺乏对不同融合任务场景下的前沿深度融合算法进行全面论述和分析的综述文献。为此，本文首先介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合，数字摄影图像融合以及遥感影像融合等不同的融合场景，本文将从网络架构和监督范式等角度全面地阐述各类方法的基本思想并讨论各类方法的特点。特别地，本文还将总结各类算法的局限性并给出进一步改进的方向。另外，本文将简要介绍不同融合场景中常用的数据集并给出各种评估指标的具体定义。对于每一种融合任务，我们将从定性评估，定量评估和运行效率等多个角度全面比较其中代表性算法的性能。本文提及的算法、数据集和评估指标已汇总至: https://github.com/Linfeng-Tang/Image-Fusion。最后，给出了本文的结论以及图像融合研究中存在的一些严峻的挑战，并对未来可能的研究方向进行了展望。

目前博主的朋友需要提升以上两项指标，欢迎大家下载支持~~
关于挑战与展望也已经摘录出来

作为一项重要的图像增强技术，图像融合在诸如目标检测、语义分割、临床诊断、遥感监测、视频监控和军事侦察等任务中发挥着至关重要的作用。近年来，随着深度学习技术的不断进步，基于深度学习的图像融合算法也如雨后春笋般涌现。尽管深度学习已经在图像融合领域取得了巨大的成功，但是仍存在一些严峻的挑战和难题需要被攻克。

未配准图像融合：

现有图像融合算法均要求源图像在空间上是严格对齐的。然而在实际应用中，由于镜头畸变、尺度差异、视差以及拍摄位置的影响，无论是不同传感器拍摄的图像还是数码相机在不同设置下所拍摄的图像都无法实现严格的空间对齐。通常情况下，需要使用成熟的图像配准算法或手工标注在融合前配准源图像)。已有的配准算法能够成功配准相同模态的图像，但对于多模图像，目前还未有对大规模多模图像鲁棒的配准算法。事实上多模图像融合能够削弱多模数据中的模态差异并降低冗余信息对配准过程的影响。因此，在模态差异更显著的融合场景（如红外和可见光图像融合、医学图像融合）中开发图像配准-图像融合相辅相成的鲁棒算法是被期待的。

高级视觉任务驱动的图像融合：

图像融合能够充分集成源图像中的互补信息以全面地表征成像场景，这为提升后续视觉任务的性能提供了可能。然而，现有的大部分融合算法通常忽略了后续视觉任务的实际需求，从而片面地追求更好的视觉效果和评估指标。尽管SeAFusion，TarDAL进行了初步的探索，但是图像融合与高级视觉任务仅通过损失函数建立连接。因此，未来应该进一步将高级视觉任务的需求建模到整个图像融合过程中从而进一步提升高级视觉任务的性能。

基于成像原理的图像融合：

不同类型传感器或不同设置下的传感器通常具有不同的成像原理。在成像原理上的差异虽然为网络结构和损失函数的设计带来了障碍。但这些成像原理上的差异也为融合算法的设计提供了更多的先验信息。深入剖析不同类型传感器或不同成像设置下的传感器的成像原理并将其建模至融合过程中有助于进一步提升融合性能。尤其是从成像的角度建模多聚焦图像中的散焦扩散效应值得被深入探索。

极端条件下的图像融合：

现有的图像融合算法均是基于正常成像场景所设计的。然而在实际应用中往往需要应付极端的情形，例如欠曝、过曝以及严重噪声等。对于红外和可见光图像融合而言，往往需要在夜间通过综合红外图像和可见光图像中的信息全面地感知成像场景。然而，此时可见光图像中的信息往往淹没在黑暗中并伴随严重的噪声。因此设计有效的融合算法在聚合互补信息的同时挖掘隐藏在黑暗和噪声中的信息便至关重要。此外，现有的多曝光图像融合算法大多未针对极端的曝光情形而设计，当这些融合算法应用至极端曝光情形时往往会出现严重的性能退化。因此。如何充分挖掘极度欠曝图像中的信息并有效抑制极度过曝图像所造成的不良影响将会是一重大挑战。

跨分辨的图像融合：

由于成像原理的差异，不同类型传感器捕获的图像往往具有不同的分辨率。如何克服分辨率差异并充分整合不同源图像中的有效信息是一个严峻的挑战。虽然已有研究者提出了一些算法来解决跨分辨率的图像融合。但仍旧存在一些问题，如采用何种上采样策略以及上采样层在网络中的位置等。将图像超分与图像融合有机结合起来并设计网络结构和损失函数将会是解决这一难题的思路之一。

实时图像融合：

图像融合通常作为高级视觉任务的预处理手段或作为摄影设备的后处理过程。对于高级视觉任务来说，往往对预处理过程具有较高的实时性要求。对于摄影设备而言，人们期望能够在不可察觉的时间内实现多幅输入图像到单幅融合图像的转换。但是，摄影设备的硬件能力往往有限。因此，在保障融合性能的前提下，开发轻量级的实时图像融合算法对于扩宽图像融合算法的应用场景具有至关重要的作用。

彩色图像融合：

大部分现有的图像融合算法通常将彩色图像转换至YCbCr空间，然后仅使用亮度（Y）通道作为深度网络的输入来得到融合后的亮度通道，而色度通道（Cb和Cr通道）采用传统的策略进行简单的融合。事实上，色度通道也包含对全面表征成像场景有用的信息。因此在融合过程中考虑色彩信息将会为网络提供更加丰富的互补信息。而基于深度网络自适应调整融合结果的色彩信息有助于获得更加生动的融合结果，这对于提升数字摄影图像融合的视觉效果尤为重要。

全面的评估指标：

由于大部分图像融合任务（多模图像融合和数字摄影图像融合）缺乏参考图像，因此如何全面地评估不同算法的融合性能是一个巨大的挑战。现有的评估指标往往仅能从某一个角度出发，片面地评估融合性能。而一种融合算法往往无法兼顾所有的评估指标。因此，设计具有更强表征能力的无参考指标全面地评估不同融合算法的性能对于图像融合领域来说至关重要。首先，一个全面的评估指标能够更加公平地评估不同融合结果的优劣，从而更好地引导后续的研究。其次，能够全面评估融合性能的无参考指标有助于更好地构造损失函数来引导深度网络的优化。