图像融合论文阅读：(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fus

@inproceedings{liang2022fusion,
title={Fusion from decomposition: A self-supervised decomposition approach for image fusion},
author={Liang, Pengwei and Jiang, Junjun and Liu, Xianming and Ma, Jiayi},
booktitle={European Conference on Computer Vision},
pages={719–735},
year={2022},
organization={Springer}
}

---

论文级别：ECCV 2022
影响因子：

[论文下载地址]

---

---

论文解读

作者提出了一个图像分解模型（DeFusion），通过【自监督】实现图像融合。在没有配对数据的情况下，该模型可以将源图像【分解到特征嵌入空间】（在该空间中可以分离共有特征和独有特征），在分解阶段通过联合训练的重构头在嵌入空间内实现图像融合。该模型是一个图像融合的【通用模型】

关键词

Image fusion · Self-supervised learning · Image decomposion
图像融合，自监督学习，图像分解

核心思想

作者认为，图像融合本质就是对多源图像重要互补信息进行整合。基于此思想，【将源图像分解为特有分量和共有分量】，将分量简单【组合】即可得到融合图像。因此，作者设计了一个前置任务（pretext task）——共有及特有分解（common and unique decomposition ，CUD），用来在一个自监督学习框架下进行图像分解。具体操作为：

• 将原始场景$x$中的一些patch替换为噪声，生成两个“原始图像”$x_1$和$x_2$
• 将”$x_1$和$x_2$输入分解网络DeNet，得到共有特征$f_c$以及各自的特有特征$f_u^1$和$f_u^2$
• 使用两个映射头，即共有映射头$P_c$和特有映射头$P_u$，得到$x_1$和$x_2$的共有和特有图像（部分）
• 将$f_c$、$f_u^1$和$f_u^2$输入重构映射头$P_r$来重构原始场景$x$

参考链接
[什么是图像融合？（一看就通，通俗易懂）]
[对 pretext tasks 的理解]

网络结构

作者提出的网络结构如下所示。

无标签图像$x$代表原始场景，使用随机掩膜$M_i$和高斯噪声$n$模拟退化变换$\mathcal{T}$：

${\bar{M}}_i$是用随机掩膜$M_i$的逻辑否运算。


将”$x_1$和$x_2$输入分解网络DeNet ${\varphi }_{\theta }(\cdot )$，得到共有特征$f_c$以及各自的特有特征$f_u^1$和$f_u^2$
映入映射头将嵌入图像投影至图像空间
对于共有特征$f_c$，投影${\hat{x}}_c=P_c\left(f_c\right)$应该与$x_c=M_1\left(x\right)\cap M_2\left(x\right)$相似。同理，
$x_u^1=M_1\left(x\right)\cap {\bar{M}}_2\left(x\right)$，$P_u\left(f_c^1\right)$
$x_u^2={\bar{M}}_1\left(x\right)\cap M_2\left(x\right)$，$P_u\left(f_c^2\right)$
是相应嵌入图像投影的ground truth

---

DeNet ${\varphi }_{\theta }(\cdot )$类似于瓶颈（bottleneck）结构，可以防止简单的映射被学习。
由三部分组成：编码器$E_{\theta }(\cdot )$，合成器$E_{\theta }^c(\cdot )$，解码器$D_{\theta }(\cdot )=\{D_{\theta }^u(\cdot ),D_{\theta }^c(\cdot )\}$x。
编码器包含三个最大池化层和残差层，获取压缩表示，特征图大小为$\frac{H}{8}\times \frac{W}{8}\times k$
合成器仅由残差层组成，$E_{\theta }(x^1)$和$E_{\theta }(x^2)$被concat后输入合成器提取共有表达
解码器包含几个上采样层和残差层，获取嵌入图

推理阶段的DeFusion如下图。

损失函数

数据集

• 训练集 COCO
• MEF
  • MEFB , SICE
• MFF
  • Real-MFF， Lytro, MFI-WHU, MFFW
• VIF
  • TNO, RoadScene

图像融合数据集链接
[图像融合常用数据集整理]

训练设置

实验

评价指标

• CE
• QCV
• SSIM
• MEF-SSIM
• IS
• LPIPS

参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]

Baseline

• MEF
  • CU-Net、U2Fusion、IFCNN、PMGI，DeepFuse、MEFNet
• MFIF
  • CU-Net， U2Fusion， IFCNN ， PMGI， MFFGAN
• VIF
  • U2Fusion， IFCNN ， FusionGAN, PMGI

参考资料
[图像融合论文baseline及其网络模型]

实验结果

更多实验结果及分析可以查看原文：
[论文下载地址]

---

传送门

图像融合相关论文阅读笔记

[ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion]
[RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images]
[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
[DenseFuse: A fusion approach to infrared and visible images]
[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
[IFCNN: A general image fusion framework based on convolutional neural network]
[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
[FusionGAN: A generative adversarial network for infrared and visible image fusion]
[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
[U2Fusion: A Unified Unsupervised Image Fusion Network]
综述[Visible and Infrared Image Fusion Using Deep Learning]

图像融合论文baseline总结

[图像融合论文baseline及其网络模型]

其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

其他总结

[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：[email protected];
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~