DIVFusion:首个耦合互促低光增强&图像融合的框架

DIVFusion:首个耦合互促低光增强&图像融合的框架

论文：https://doi.org/10.1016/j.inffus.2022.10.034
代码：https://github.com/Xinyu-Xiang/DIVFusion

写在前面

最近Information Fusion接收了一篇题为《DIVFusion: Darkness-free infrared and visible image fusion》的文章。在此之前，图像融合领域一直徘徊在利用互补信息，设计loss，引入新的融合规则等。但是忽视了低光场景下可见光信息退化的问题，这将严重影响互补信息的聚合，也即产生不佳的融合结果。
DIVFusion一文中给出了一个很新的思想来解决低光下的融合问题，即是耦合互促低光增强与融合，以获得良好视觉感知的融合图像。

图像融合系列博客还有：

1. 图像融合论文及代码整理最全大合集参见：图像融合论文及代码整理最全大合集
2. 图像融合综述论文整理参见：图像融合综述论文整理
3. 图像融合评估指标参见：红外和可见光图像融合评估指标
4. 图像融合常用数据集整理参见：图像融合常用数据集整理
5. 通用图像融合框架论文及代码整理参见：通用图像融合框架论文及代码整理
6. 基于深度学习的红外和可见光图像融合论文及代码整理参见:基于深度学习的红外和可见光图像融合论文及代码整理
7. 更加详细的红外和可见光图像融合代码参见：红外和可见光图像融合论文及代码整理
8. 基于深度学习的多曝光图像融合论文及代码整理参见：基于深度学习的多曝光图像融合论文及代码整理
9. 基于深度学习的多聚焦图像融合论文及代码整理参见：基于深度学习的多聚焦图像融合(Multi-focus Image Fusion)论文及代码整理
10. 基于深度学习的全色图像锐化论文及代码整理参见：基于深度学习的全色图像锐化(Pansharpening)论文及代码整理
11. 基于深度学习的医学图像融合论文及代码整理参见：基于深度学习的医学图像融合(Medical image fusion)论文及代码整理
12. 彩色图像融合参见: 彩色图像融合
13. SeAFusion:首个结合高级视觉任务的图像融合框架参见：SeAFusion:首个结合高级视觉任务的图像融合框架

问题引入

1. 首先，现有的方法都是在正常的光照条件下设计的，因此忽略了夜间可见图像照度下降的困难。具体而言，在弱光条件下，以往的融合方法仅利用红外信息来填补可见光图像照度退化造成的场景不足。这就导致了夜间可见光图像中丰富的场景信息无法在融合图像中得到表达，背离了红外可见光图像融合任务的初衷。
2. 其次，一种直观的解决方案是使用先进的微光增强算法对可见图像进行预增强，然后通过融合方法对源图像进行融合。然而，将图像增强和图像融合作为独立的任务处理往往会导致不兼容问题，从而导致图像融合效果不佳，如图1©所示。具体来说，由于夜景光线较弱，夜间可见图像有轻微的颜色失真。弱光增强算法改变了光源的颜色分布，在一定程度上进一步放大了整个图像的颜色失真。
3. 此外，在融合过程中，由于Y通道的融合策略改变了源图像的饱和度分布，融合后的图像也会发生颜色失真，如图1(b)&©所示。
   

Motivation

红外与可见光图像融合是一项重要的图像增强技术，其目标是在极端环境下生成目标明显、纹理丰富的高质量融合图像。然而，目前的图像融合方法都是针对正常照明下的红外和可见光图像设计的。在夜景中，现有的方法由于可见光图像严重退化，导致纹理细节较弱，视觉感知较差，影响了后续的视觉应用。为此，本文提出了一种无黑暗的红外与可见光图像融合方法(DIVFusion)，合理地照亮黑暗，促进互补信息聚合。

主要贡献

1. 我们提出了一种新的视觉增强的红外和可见光图像融合框架(DIVFusion)，以增强视觉感知和整合互补信息，特别是在极弱光条件下。
2. 设计了一种场景照明解耦网络(SIDNet)，消除了退化的照明特征，强化了两种模式的独特特征，以达到视觉增强的目的。构建纹理对比度增强融合网络(TCEFNet)，增强对比度和纹理，实现有效的互补信息集成。
3. 为了保证融合图像的视觉质量，我们设计了一种颜色一致性损失，可以减少融合图像中的颜色失真，并将更多的可见域信息注入到融合图像中。
4. 我们的融合结果在从源图像中获取互补信息的同时，具有更明亮的场景和更高的对比度，且没有颜色失真，如图1(d)所示。行人检测实验证明了我们的结果在高水平视觉任务中的促进作用。

网络架构

上述为DIVFusion整体流程图，主要分为两阶段训练

SIDNet用于自监督重构原始图像，并同时，剥离退化照度，得到的特征图用于促进后续融合网络

上述两者均为作者所提TCEFNet中的组成部分，分别用于细粒度增强与对比度提升，详见原文以及代码。

实验验证

实验设计方面，作者首先在LLVIP，MSRS以及TNO数据集上进行定量和定性的对比实验，然后也给出了运行效率的对比分析以及相关泛化实验和消融实验。

融合性能

目标检测性能

消融实验

结论

本文提出了一种基于视觉增强的夜间红外与可见光图像融合算法，实现了图像融合与图像增强的耦合互促。具体而言，SIDNet设计的目的是将退化光照特征与混合光照特征分离，避免源图像重要信息的丢失。然后，我们使用包含两个特殊模块的TCEFNet实现融合过程中的对比度增强和纹理保留。考虑到增强和融合任务的不相容性导致的颜色失真，设计了一种颜色一致性损失来调整融合图像的颜色分布。与最先进的方法进行了定性和定量的比较，验证了我们的方法的优越性，包括视觉感知、场景亮度和互补信息集成。两阶段融合实验表明，该方法有效地缓解了融合和增强任务之间的不兼容性。此外，行人检测实验证明了我们的DIVFusion在高级计算机视觉任务中的潜力。

写在最后

本文仅仅考虑到低光对整个红外可见光图像融合的影响，个人感觉红外可见光图像融合未来的研究方向，可以着手于多种退化情况，也即是极端条件下的图像融合，例如在融合过程中同时解决可见光图像中过曝和过暗的问题。现有的融合方法都难以消除过度曝光效应。一种可能的解决方法是利用高斯分布对点光源进行建模，并设计一个分解网络，将过曝光映射从可见图像中剥离出来。由于过曝光区域可见光图像中缺乏有效信息，在融合过程中我们将从红外图像中整合更多的信息来固定过曝光区域。未来，有可能将进一步设计一个照度调整模块，以解决红外和可见光图像融合任务中的低光和过度曝光退化问题。
DIVFusion 为极端条件下的融合提供了可能的方案，正如前面所说的可以在设计图像融合模型的时候进一步考虑其他的极端条件，这与图像融合的本质相契合。

DIVFusion原论文：Tang, Linfeng, Xinyu Xiang, Hao Zhang, Meiqi Gong, and Jiayi Ma. “DIVFusion: Darkness-free infrared and visible image fusion.” Information Fusion (2022). URL: https://www.sciencedirect.com/science/article/pii/S156625352200210X