图像融合论文阅读:SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images

@article{wang2022swinfuse,
title={SwinFuse: A residual swin transformer fusion network for infrared and visible images},
author={Wang, Zhishe and Chen, Yanlin and Shao, Wenyu and Li, Hui and Zhang, Lei},
journal={IEEE Transactions on Instrumentation and Measurement},
volume={71},
pages={1–12},
year={2022},
publisher={IEEE}
}

---

论文级别：SCI A2/Q1
影响因子：5.6

[论文下载地址]
[代码下载地址]

---

---

论文解读

卷积运算是图像与卷积核之间内容无关的交互，可能会丢失上下文信息
因此作者提出了SwinFuse（Residual Swin Transformer Fusion Network），该模型包括三个部分：全局特征提取，融合层和特征重构。

• 使用纯Transformer构建了一个完全注意力编码骨干网络来建模远程依赖
• 设计了基于序列矩阵L1范数的特征融合策略

关键词

image fusion, Swin Transformer, self-attention mechanism, feature normalization, deep learning
图像融合，Swin Transformer， 自注意力机制，特征归一化，深度学习

核心思想

使用Swin Transformer提取全局特征，并设计了基于行向量和列向量维度的融合策略

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

网络结构

作者提出的网络结构如下所示。SwinFuse主要由三部分组成：全局特征提取、融合层和特征重构。

overview

给定输入$I^l\in R^{H\times W\times C_{in}}$，HWC即高宽通道，$l=vis$和$l=ir$分别代表可见光图像和红外图像。
首先，使用1×1卷积核的卷积层进行位置编码，并将输入通道$C_{in}$转换为$C$。初始特征${\Phi }^l$为：

${\Phi }^l=H_{pos}(I^l)$中，$H_{pos}$代表位置编码，输出通道数C被设置为96.
然后，将初始特征${\Phi }^l$转化为序列向量${\Phi }_{SV}^l\in R^{MN\times \mathrm{C}}$，并使用残差Swin Transformer块（residual Swin Transformer blocks，RSTBs）提取全局特征${\Phi }_{GF}^l\in R^{MN\times \mathrm{C}}$：

$H_{RST{B}_m}$代表第m个RSTB。
接下来，使用基于L1范式的融合层，从行、列向量维度获得融合全局特征${\Phi }_F^l\in R^{MN\times \mathrm{C}}$：

$H_{Norm}$代表融合操作。
最后，将融合全局特征的维度从$R^{MN\times C}$转换为$R^{M\times N\times C}$，并使用卷积层重构融合图像$I_F$：

$H_{Conv}$代表特征重构，该层使用了1×1卷积核，padding为0，还有一个tanh激活函数。

RSTB

给定一个输入序列向量${\Phi }_{m,0}^l$，使用n个Swin Transformer提取中间全局特征${\Phi }_{m,n-}^l$，RSTB最终的输出为：

$H_{ST{L}_{m,n}}$代表第n个Swin Transformer层。

在STL中，首先使用N×N的滑动窗口，将输入划分为不重叠的$\frac{HW}{N^2}$局部窗口并计算其局部注意力。
对于局部窗口${\Phi }_z$，QKV计算如下：

$W_Q、W_K、W_V$均为可学习参数，d使(Q, K)的维度。序列矩阵自注意力机制计算如下：

p是位置编码的可学习参数。
随后，Swin Transformer再次计算移动窗口的标准多头注意力（multi-head self-attention， MSA）。STL由W-MSA和SW-MSA构成，LayerNorm在每个MSA和MLP前面，并且使用了残差连接。

融合策略

作者设计了一种基于L1范数的红外-可见光图像序列矩阵融合策略，从行和列向量维度测量活动水平。如下图所示。

对于两种源图像各自的全局特征${\Phi }_{GF}^{ir}\left(i,j\right)$和${\Phi }_{GF}^{vis}\left(i,j\right)$，首先使用L1范数测量其行向量权重，然后使用softmax获得活动水平${\phi }_{row}^{ir}\left(i\right)$和${\phi }_{row}^{vis}\left(i\right)$：


然后直接将活动水平与对应的全局特征相乘，从行向量维度得到融合全局特征${\Phi }_{row}^F\left(i,j\right)$：

同理，计算列向量：


最后，使用逐元素相加得到最终的融合全局特征：

注意，融合层只在测试时被保留，在训练阶段被移除。

损失函数

数据集

• 训练MS-COCO
• 测试 TNO Roadscene OTCBVS

图像融合数据集链接
[图像融合常用数据集整理]

训练设置

实验

评价指标

• SF, SD, MI, MS_SSIM, FMI_W and SCD

参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]

Baseline

• MDLatLRR、IFCNN、DenseFuse、RFN-Nest、fusongan、GANMcC、PMGI、SEDRFuse、Res2Fusion

参考资料
[图像融合论文baseline及其网络模型]

实验结果

更多实验结果及分析可以查看原文：
[论文下载地址]
[代码下载地址]

---

传送门

图像融合相关论文阅读笔记

[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
[DenseFuse: A fusion approach to infrared and visible images]
[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
[IFCNN: A general image fusion framework based on convolutional neural network]
[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
[FusionGAN: A generative adversarial network for infrared and visible image fusion]
[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
[U2Fusion: A Unified Unsupervised Image Fusion Network]
综述[Visible and Infrared Image Fusion Using Deep Learning]

图像融合论文baseline总结

[图像融合论文baseline及其网络模型]

其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

其他总结

[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：[email protected];
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~