多聚焦图像融合资料汇总：论文，代码，数据集，评价指标

多聚焦图像融合 (MFIF) 论文和代码汇总

1. 论文和代码

1.1 综述

论文	论文工作	期刊, 发表时间	中科院分区	代码
Pixel-level image fusion: A survey of the state of the art	介绍了传统图像融合方法	Information Fusion, 2016	1区
Deep learning for pixel-level image fusion: Recent advances and future prospects	对比了传统图像融合方法与DL方法	Information Fusion, 2018	1区
Multi-focus image fusion: A Survey of the state of the art		Information Fusion, 2020	1区
Image fusion meets deep learning: A survey and perspective		Information Fusion, 2021	1区	Code
Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study	论文介绍 – 作者原贴	TPAMI, 2021	1区, CCF-A	Code
Image Fusion Techniques: A Survey		Archives of Computational Methods in Engineering, 2021	2区
A review of image fusion: Methods, applications and performance metrics		Digital Signal Processing, 2023	3区
Current advances and future perspectives of image fusion: A comprehensive review		Information Fusion, 2023	1区
基于深度学习的图像融合方法综述	介绍了图像融合方法，常用的评价指标和数据集	中国图象图形学报, 2023		Code

1.2 传统方法

传统的多聚焦图像融合方法（MFIF）可以分为两类：

• 变换域方法：包括多尺度分解（MST）和特征空间变换（如SR）两大类，以及二者的结合方法 MST-SR
• 空间域方法：基于决策图对源图像中清晰的图像块进行拼接，前提是基于各种活动水平测量方法评判每个图像块的清晰程度。

方法	论文	方法类别	创新点	期刊, 发表时间	中科院分区	代码
GFF	Image Fusion With Guided Filtering	图像分解 + 决策图	首次提出基于引导滤波的MFIF方法，将图像进行 two-scale 分解再融合	TIP, 2013	1区, CCF-A
DSIFT	Multi-focus image fusion with dense SIFT	决策图	基于 dense SIFT 提取图像块特征	Information Fusion, 2015	1区	Matlab Code
MST-SR	A general framework for image fusion based on multi-scale transform and sparse representation	图像分解 + SR	将 MST 和 SR 两类方法结合起来，二者分别用于融合低频和高频信息	Information Fusion, 2015	1区	Matlab Code
CSR	Image Fusion With Convolutional Sparse Representation	特征空间变换	卷积稀疏表示，解决了基于SR的MFIF方法的两大缺点	IEEE Signal Processing Letters, 2016	3区	Matlab Code
	Multi-focus image fusion using Content Adaptive Blurring	决策图	基于内容自适应模糊算法实现 MFIF	Information Fusion, 2019	1区
	A novel sparse representation based fusion approach for multi-focus images	特征空间变换	基于SR的MFIF方法	Expert Systems with Applications, 2022	1区

1.3 深度学习方法

基于深度学习的多聚焦图像融合方法可以分为两类：

• 基于决策图的方法：使用各种CNN网络判断图像块的聚焦属性（清晰程度），选择源图像中清晰的像素进行融合。
• 端到端的方法：使用各种网络，输入源图像，输出融合图像；不依赖于决策图。

1.3.1 具有代表性的方法

方法	论文	方法类别	Backbone	创新点	期刊, 发表时间	中科院分区	代码
CNN	Multi-focus image fusion with a deep convolutional neural network	决策图	CNN	首次将深度学习用于图像融合领域	Information Fusion, 2017	1区	Matlab Code
p-CNN	Pixel convolutional neural network for multi-focus image fusion	决策图	CNN	对 CNN 进行改进：数据集，pathc 划分方式，将二分类CNN改为三分类。实现像素级的聚焦属性分类	Information Sciences, 2017	1区
ECNN	Ensemble of CNN for multi-focus image fusion	决策图	Ensemble of CNNs	1、将聚焦和散焦图像块拼接在一起训练。2、集成三个不同训练集训练的CNN。	Information Fusion, 2019	1区	code
IFCNN	IFCNN: A general image fusion framework based on convolutional neural network	端到端	CNN	提出了特征提取-融合-重建的通用图像融合架构	Information Fusion, 2019	1区	code
	Non-Local Multi-Focus Image Fusion With Recurrent Neural Networks	决策图	RNN	基于RNN的图像融合算法非常少见	IEEE Access, 2020	3区
FuseGAN	FuseGAN: Learning to Fuse Multi-Focus Image via Conditional Generative Adversarial Network	决策图	GAN	使用GAN生成决策图，第一个基于GAN的MFIF方法	IEEE Transactions on Multimedia, 2019	1区
ACGAN	A generative adversarial network with adaptive constraints for multi-focus image fusion	端到端	GAN	以源图像中对应像素点的梯度分布不同作为先验	Neural Computing and Applications, 2020	3区
MFF-GAN	MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion	端到端	GAN	无监督GAN	Information Fusion, 2020	1区	code
SwinFusion	SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer	端到端	Transformer	基于Transformer提取全局特征	IEEE/CAA Journal of Automatica Sinica, 2022	1区	code
ZMFF	ZMFF: Zero-shot multi-focus image fusion	决策图	CNN with DIP (Deep image prior)	基于DIP生成决策图，依赖于DIP实现零样本训练	Information Fusion, 2022	1区	code
	Combining transformers with CNN for multi-focus image fusion	决策图	Transformers with CNN	号称首次将Transformer引入MFIF任务中，但显然不是如此	Expert Systems with Applications, 2023	1区
FusionDiff	FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models	端到端	Diffusion (扩散模型)	第一个基于Diffusion的MFIF方法	Expert Systems with Applications, 2023	1区	code

1.3.2 其他 SOTA 方法

方法	论文	方法类别	Backbone	创新点	期刊, 发表时间	中科院分区	代码
MSCNN	Image Segmentation-Based Multi-Focus Image Fusion Through Multi-Scale Convolutional Neural Network	决策图	CNN	将CNN的输入改为多尺度	IEEE Access, 2017	3区
DRPL	DRPL: Deep Regression Pair Learning for Multi-Focus Image Fusion	决策图	CNN		TIP, 2020	1区, CCF-A	code
MFIF-GAN	MFIF-GAN: A new generative adversarial network for multi-focus image fusion	决策图	GAN	引入了聚焦区域的先验知识来提高决策图的质量	Signal Processing: Image Communication, 2021	3区	code
SDNet	SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion	端到端	CNN		IJCV, 2021	2区, CCF-A	code
	Multi-focus image fusion with deep residual learning and focus property detection	决策图	CNN	用很复杂的方式生成决策图，感觉创新点有些牵强	Information Fusion, 2022	1区
U2Fusion	U2Fusion: A Unified Unsupervised Image Fusion Network	决策图	CNN	无监督的通用图像融合架构	TPAMI, 2022	1区, CCF-A	code
	A Self-Supervised Residual Feature Learning Model for Multifocus Image Fusion	决策图	CNN	自监督，以图像超分作为pretext task	TIP, 2022	1区, CCF-A
MUFusion	MUFusion: A general unsupervised image fusion network based on memory unit	决策图	CNN	无监督的通用图像融合架构	Information Fusion, 2023	1区	code
TransFusion-net	TransFusion-net for multifocus microscopic biomedical image fusion	决策图	Transformer	多聚焦显微图像融合，将三张源图像分别作为Q, K, V	Computer Methods and Programs in Biomedicine, 2023	2区

2. 多聚焦图像融合数据集

2.1 公开数据集

数据集名称	相关论文	介绍	图像数量	分辨率	地址
Lytro		相机拍摄得到，聚焦和散焦区域的边界自然过渡	20 对 Double Series 彩色图像，4对 Triple Series 彩色图像	520*520	Lytro Dataset
MFFW	MFFW: A new dataset for multi-focus image fusion	相机拍摄得到，聚焦和散焦区域的边界自然过渡	19 对 Double Series 彩色图像	不固定	MFFW Dataset
MFI-WHU	MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion	从 COCO 数据集中选择 120 张图像作为清晰图像，对其加mask得到模糊区域，聚焦和散焦区域具有明显边界，过渡不自然	120 对 Double Series 彩色图像	不固定	MFI-WHU Dataset
GrayScale		灰度图像，聚焦和散焦区域的边界自然过渡	10 对 Double Series 灰度图像	不固定	GrayScale Dataset

2.2 生成数据集的方法

自制多聚焦图像融合数据集的方法是：对清晰图像进行模糊获得多张聚焦区域不同的源图像。

可以使用三种方法获得：

• 对清晰图像采用 mask 进行高斯模糊，绝大部分论文采用这种方法
• 使用 ps 手动模糊目标区域，MFI-WHU数据集 就是这样做的
• 基于 RGB-D 深度数据集，设置随机深度阈值对清晰图像的前景和背景依次进行高斯模糊，获得源图像对，参考 IFCNN 和 FusionDiff

3. 图像融合评价指标

评价指标计算代码下载地址如下，下面几个项目基本包括了所有常见的图像融合评价指标。

评价指标	地址
AG, CC, EN, FMI, MI, MSE, SSIM, MEF-SSIM, MS-SSIM, $N_{AB/F}$, PSNR, $Q_{AB/F}$, SCD, SD, SF, VIFF	Linfeng-Tang
EN, CC, SD, SF, SSIM, VIFF	HarrisXia
$Q_{CB}$, $Q_{CV}$, $Q_E$, $Q_G$, MI, NCIE, $Q_P$, $Q_Y$	yuliu
AG, EN, PSNR, $Q_{AB/F}$, $Q_{CB}$, $Q_{CV}$, RMSE, SF, SSIM 等	xingchenzhang