图像融合论文阅读：RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images

@article{li2021rfn,
title={RFN-Nest: An end-to-end residual fusion network for infrared and visible images},
author={Li, Hui and Wu, Xiao-Jun and Kittler, Josef},
journal={Information Fusion},
volume={73},
pages={72–86},
year={2021},
publisher={Elsevier}
}

---

论文级别：SCI A1
影响因子：18.6

[论文下载地址]
[代码下载地址]

---

---

论文解读

作者提出了一种【基于残差结构】的残差融合网络RFN-Nest，提出了一种【细节保留损失】函数和【特征增强损失】函数来训练网络，训练过程为【两阶段】，第一阶段训练基于【嵌套连接nest connection (Nest) 】的【自编码器】，第二阶段使用所提出的损失函数训练神经网络。

关键词

image fusion, end-to-end network, nest connection, residual network, infrared image, visible image
图像融合，端到端网络，嵌套链接，残差网络，红外图像，可见光图像

核心思想

使用残差融合网络RFN融合多尺度深层特征（代替手工融合策略）和基于嵌套连接的解码器实现VIF。
使用RFN使基于自编码器的图像融合网络变成了端到端的融合网络。作者使用两阶段训练策略来训练融合网络（编码器、解码器和RFN），并使用细节保留损失和特征增强损失训练RFN。

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

网络结构

作者提出的网络结构如下所示。“k×k,(in,out)”代表k×k卷积核，输入通道和输出通道。

RFN网络结构

${\Phi }_{ir}^m$和${\Phi }_{vi}^m$分别为第m尺度的深度特征图。Conv1和Conv2的输出concat后作为Conv3的输入，Conv6是用于产生初始融合特征的第一个融合层。${\Phi }_f^m$为融合特征。

解码器网络结构

下图为基于嵌套连接结构的解码器网络结构图，该模型在UNet++的基础上做了简化。

${\Phi }_f^m$为RFN得到的融合多尺度特征。DCB为有两个卷积层的解码卷积块。
每行均使用跳接连接，和dense block很像。跨层连接，连接着解码器网络中的多尺度深度特征。
该模块输入是使用多尺度特征重构的融合图像。

训练策略

先训练AE，然后训练RFN

训练AE

训练RFN

在固定AE的情况下，使用适当的损失函数训练RFN

$L_{detail}$和$L_{feature}$分别代表背景细节保存损失函数和目标特征增强损失函数。
在VIF中，大多数背景信息来自于可见光图像。

红外图像包含更多的显著目标特征。

M是多尺度深度特征的个数。本文设置为4.
由于多尺度之间存在着幅度差异，因此${\omega }_1$是平衡参数，本文设置为{1，10，100，1000}
${\omega }_{vi}$和${\omega }_{ir}$控制着红外特征和可见光特征对融合特征图的影响程度，即权重系数。

损失函数

见上节。

数据集

• 训练
  • 一阶段 MS-COCO，灰度图，256×256
  • 二阶段 KAIST
• 测试
  • TNO, VOT2020-RGBT

图像融合数据集链接
[图像融合常用数据集整理]

训练设置

实验

评价指标

• EN
• SD
• MI
• NABF
• SCD
• MS-SSIM

参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]

Baseline

• DCHWT、GTF、ConvSR、VGGML、DenseFuse、Fusiongan、IFCNN、NESTFuse、PMGI、DDCGAN和U2Fusion

参考资料
[图像融合论文baseline及其网络模型]

实验结果

从下图可以看出${\omega }_{vi}$和${\omega }_{ir}$大小对融合结果的影响。

更多实验结果及分析可以查看原文：
[论文下载地址]
[代码下载地址]

---

传送门

图像融合相关论文阅读笔记

[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
[DenseFuse: A fusion approach to infrared and visible images]
[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
[IFCNN: A general image fusion framework based on convolutional neural network]
[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
[FusionGAN: A generative adversarial network for infrared and visible image fusion]
[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
[U2Fusion: A Unified Unsupervised Image Fusion Network]
综述[Visible and Infrared Image Fusion Using Deep Learning]

图像融合论文baseline总结

[图像融合论文baseline及其网络模型]

其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

其他总结

[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：[email protected];
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~