图像融合论文阅读：DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion

@article{zhao2020didfuse,
title={DIDFuse: Deep image decomposition for infrared and visible image fusion},
author={Zhao, Zixiang and Xu, Shuang and Zhang, Chunxia and Liu, Junmin and Li, Pengfei and Zhang, Jiangshe},
journal={arXiv preprint arXiv:2003.09210},
year={2020}
}

论文级别：-
影响因子：-

[论文下载地址]

论文解读

（deep image decomposition based IVIF）DIDFuse是一个基于AE（自编码器）的图像融合网络，网络结构基于UNet。
这是第一个融合和分解都使用AE完成的图像融合网络

关键词

红外与可见光图像融合，自编码器

核心思想

大尺度像素强度变换=背景图像=低频信息
小尺度像素强度变换=细节图像=高频信息
（“=”不是等于，而是方便大家理解，可以理解为“挂钩”）
使用编码器将图像分别分解为背景特征图（低频信息）和细节特征图（高频信息），解码器用来回复原始图像。
损失函数用来使源图像的背景/细节特征图相似/不相似。
在测试阶段，背景和细节特征图融合在一起，然后由解码器恢复出原始图像。

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

网络结构

作者提出的DIDFuse网络结构如下图所示。

该网络将红外图像或可见光图像作为输入（H，W，C=1），生成背景特征图和细节特征图，随后concat（在通道拼接，可以理解为两张纸叠放）两种特征图，最后将拼接后的特征图输入解码器恢复出原始图像。
可以看到训练过程中，第一次和第二次的卷积结果直接跳接到了倒数第一和第二层卷积输出处，并与那里的特征图进行了concat，目的使为了防止信息丢失以及加快收敛速度。

在测试过程中，加入了融合层，即上图右边灰色的地方。

其中，$B_F$和$D_F$代表了融合图像的背景和细节特征图。
作者考虑了三种融合策略，分别为【元素加】、【加权平均】和【L1范式】，分别如下所示

网络的细节如下表所示。

损失函数

总损失如下式：

图像分解

作者认为，【背景特征】是源图像的【共同特征】，应该【缩小】源图像间背景特征的差异。
【细节特征】是可见光和红外图像的【不同特征】，应该【放大】源图像间细节特征的差异。

$B_V$和$D_V$是可见光图像V的背景特征图和细节特征图。
$B_I$和$D_I$是红外图像I的背景特征图和细节特征图。
Φ (·)是tanh function用于将结果限制在(-1, 1)之间。

图像重构

$I$和$\hat{I}$为输入和重构的红外图像，$V$和$\hat{V}$为输入和重构的可见光图像。可以在网络结构图里找到。
∇表示梯度算子

$X$和$\hat{X}$为输入和重构图像。$\lambda$是调节平衡的超参数。

注意，二范数度量的是原图和重建图像之间的像素强度的一致性。而SSIM是为了度量亮度、结构、对比度方面的差异。因为可见光图像纹理丰富，所以采用【梯度系数惩罚】对可见光图像正则化重建，以此来保证纹理一致。

数据集

• TNO
• NIR
• FLIR
  

图像融合数据集链接
[图像融合常用数据集整理]

训练设置

在第一层和最后一层卷积处使用了反射填充来防止融合图像边缘出现伪影。
α1 = 0.05， α2 = 2， α3 = 2， α4 = 10， λ = 5
Adam
120 epochs
24 batch size
1e-3 lr,每40个epochs降低10倍

实验

评价指标

• EN
• MI
• SD
• SF
• VIF
• AG

参考资料
[图像融合定量指标分析]

Baseline

• FusionGAN,DenseFuse,ImageFuse,DeepFuse,TSIFVS, TVADMM,CSR, ADF

参考资料
[图像融合论文baseline及其网络模型]

实验结果

从下表可以看出，高级的食材往往只需要简单的烹饪方式，求和就很nice，花里胡哨的L1不好用。

更多实验结果及分析可以查看原文：
[论文下载地址]
[代码下载地址]

---

传送门

图像融合相关论文阅读笔记

[IFCNN: A general image fusion framework based on convolutional neural network]
[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
[FusionGAN: A generative adversarial network for infrared and visible image fusion]
[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
[Visible and Infrared Image Fusion Using Deep Learning]
[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
[U2Fusion: A Unified Unsupervised Image Fusion Network]

图像融合论文baseline总结

[图像融合论文baseline及其网络模型]

其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

其他总结

[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：[email protected];
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~