多聚焦图像融合资料汇总:论文,代码,数据集,评价指标

文章目录

    • 1. 论文和代码
      • 1.1 综述
      • 1.2 传统方法
      • 1.3 深度学习方法
        • 1.3.1 具有代表性的方法
        • 1.3.2 其他 SOTA 方法
    • 2. 多聚焦图像融合数据集
      • 2.1 公开数据集
      • 2.2 生成数据集的方法
    • 3. 图像融合评价指标

多聚焦图像融合 (MFIF) 论文和代码汇总

1. 论文和代码

1.1 综述

论文 论文工作 期刊, 发表时间 中科院分区 代码
Pixel-level image fusion: A survey of the state of the art 介绍了传统图像融合方法 Information Fusion, 2016 1区
Deep learning for pixel-level image fusion: Recent advances and future prospects 对比了传统图像融合方法与DL方法 Information Fusion, 2018 1区
Multi-focus image fusion: A Survey of the state of the art Information Fusion, 2020 1区
Image fusion meets deep learning: A survey and perspective Information Fusion, 2021 1区 Code
Deep Learning-based Multi-focus Image Fusion: A Survey and A Comparative Study 论文介绍 – 作者原贴 TPAMI, 2021 1区, CCF-A Code
Image Fusion Techniques: A Survey Archives of Computational Methods in Engineering, 2021 2区
A review of image fusion: Methods, applications and performance metrics Digital Signal Processing, 2023 3区
Current advances and future perspectives of image fusion: A comprehensive review Information Fusion, 2023 1区
基于深度学习的图像融合方法综述 介绍了图像融合方法,常用的评价指标和数据集 中国图象图形学报, 2023 Code

1.2 传统方法

传统的多聚焦图像融合方法(MFIF)可以分为两类:

  • 变换域方法:包括多尺度分解(MST)和特征空间变换(如SR)两大类,以及二者的结合方法 MST-SR
  • 空间域方法:基于决策图对源图像中清晰的图像块进行拼接,前提是基于各种活动水平测量方法评判每个图像块的清晰程度。
方法 论文 方法类别 创新点 期刊, 发表时间 中科院分区 代码
GFF Image Fusion With Guided Filtering 图像分解 + 决策图 首次提出基于引导滤波的MFIF方法,将图像进行 two-scale 分解再融合 TIP, 2013 1区, CCF-A
DSIFT Multi-focus image fusion with dense SIFT 决策图 基于 dense SIFT 提取图像块特征 Information Fusion, 2015 1区 Matlab Code
MST-SR A general framework for image fusion based on multi-scale transform and sparse representation 图像分解 + SR 将 MST 和 SR 两类方法结合起来,二者分别用于融合低频和高频信息 Information Fusion, 2015 1区 Matlab Code
CSR Image Fusion With Convolutional Sparse Representation 特征空间变换 卷积稀疏表示,解决了基于SR的MFIF方法的两大缺点 IEEE Signal Processing Letters, 2016 3区 Matlab Code
Multi-focus image fusion using Content Adaptive Blurring 决策图 基于内容自适应模糊算法实现 MFIF Information Fusion, 2019 1区
A novel sparse representation based fusion approach for multi-focus images 特征空间变换 基于SR的MFIF方法 Expert Systems with Applications, 2022 1区

1.3 深度学习方法

基于深度学习的多聚焦图像融合方法可以分为两类:

  • 基于决策图的方法:使用各种CNN网络判断图像块的聚焦属性(清晰程度),选择源图像中清晰的像素进行融合。
  • 端到端的方法:使用各种网络,输入源图像,输出融合图像;不依赖于决策图。
1.3.1 具有代表性的方法
方法 论文 方法类别 Backbone 创新点 期刊, 发表时间 中科院分区 代码
CNN Multi-focus image fusion with a deep convolutional neural network 决策图 CNN 首次将深度学习用于图像融合领域 Information Fusion, 2017 1区 Matlab Code
p-CNN Pixel convolutional neural network for multi-focus image fusion 决策图 CNN 对 CNN 进行改进:数据集,pathc 划分方式,将二分类CNN改为三分类。实现像素级的聚焦属性分类 Information Sciences, 2017 1区
ECNN Ensemble of CNN for multi-focus image fusion 决策图 Ensemble of CNNs 1、将聚焦和散焦图像块拼接在一起训练。2、集成三个不同训练集训练的CNN。 Information Fusion, 2019 1区 code
IFCNN IFCNN: A general image fusion framework based on convolutional neural network 端到端 CNN 提出了特征提取-融合-重建的通用图像融合架构 Information Fusion, 2019 1区 code
Non-Local Multi-Focus Image Fusion With Recurrent Neural Networks 决策图 RNN 基于RNN的图像融合算法非常少见 IEEE Access, 2020 3区
FuseGAN FuseGAN: Learning to Fuse Multi-Focus Image via Conditional Generative Adversarial Network 决策图 GAN 使用GAN生成决策图,第一个基于GAN的MFIF方法 IEEE Transactions on Multimedia, 2019 1区
ACGAN A generative adversarial network with adaptive constraints for multi-focus image fusion 端到端 GAN 以源图像中对应像素点的梯度分布不同作为先验 Neural Computing and Applications, 2020 3区
MFF-GAN MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion 端到端 GAN 无监督GAN Information Fusion, 2020 1区 code
SwinFusion SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer 端到端 Transformer 基于Transformer提取全局特征 IEEE/CAA Journal of Automatica Sinica, 2022 1区 code
ZMFF ZMFF: Zero-shot multi-focus image fusion 决策图 CNN with DIP (Deep image prior) 基于DIP生成决策图,依赖于DIP实现零样本训练 Information Fusion, 2022 1区 code
Combining transformers with CNN for multi-focus image fusion 决策图 Transformers with CNN 号称首次将Transformer引入MFIF任务中,但显然不是如此 Expert Systems with Applications, 2023 1区
FusionDiff FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models 端到端 Diffusion (扩散模型) 第一个基于Diffusion的MFIF方法 Expert Systems with Applications, 2023 1区 code
1.3.2 其他 SOTA 方法
方法 论文 方法类别 Backbone 创新点 期刊, 发表时间 中科院分区 代码
MSCNN Image Segmentation-Based Multi-Focus Image Fusion Through Multi-Scale Convolutional Neural Network 决策图 CNN 将CNN的输入改为多尺度 IEEE Access, 2017 3区
DRPL DRPL: Deep Regression Pair Learning for Multi-Focus Image Fusion 决策图 CNN TIP, 2020 1区, CCF-A code
MFIF-GAN MFIF-GAN: A new generative adversarial network for multi-focus image fusion 决策图 GAN 引入了聚焦区域的先验知识来提高决策图的质量 Signal Processing: Image Communication, 2021 3区 code
SDNet SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion 端到端 CNN IJCV, 2021 2区, CCF-A code
Multi-focus image fusion with deep residual learning and focus property detection 决策图 CNN 用很复杂的方式生成决策图,感觉创新点有些牵强 Information Fusion, 2022 1区
U2Fusion U2Fusion: A Unified Unsupervised Image Fusion Network 决策图 CNN 无监督的通用图像融合架构 TPAMI, 2022 1区, CCF-A code
A Self-Supervised Residual Feature Learning Model for Multifocus Image Fusion 决策图 CNN 自监督,以图像超分作为pretext task TIP, 2022 1区, CCF-A
MUFusion MUFusion: A general unsupervised image fusion network based on memory unit 决策图 CNN 无监督的通用图像融合架构 Information Fusion, 2023 1区 code
TransFusion-net TransFusion-net for multifocus microscopic biomedical image fusion 决策图 Transformer 多聚焦显微图像融合,将三张源图像分别作为Q, K, V Computer Methods and Programs in Biomedicine, 2023 2区

2. 多聚焦图像融合数据集

2.1 公开数据集

数据集名称 相关论文 介绍 图像数量 分辨率 地址
Lytro 相机拍摄得到,聚焦和散焦区域的边界自然过渡 20 对 Double Series 彩色图像,4对 Triple Series 彩色图像 520*520 Lytro Dataset
MFFW MFFW: A new dataset for multi-focus image fusion 相机拍摄得到,聚焦和散焦区域的边界自然过渡 19 对 Double Series 彩色图像 不固定 MFFW Dataset
MFI-WHU MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion 从 COCO 数据集中选择 120 张图像作为清晰图像,对其加mask得到模糊区域,聚焦和散焦区域具有明显边界,过渡不自然 120 对 Double Series 彩色图像 不固定 MFI-WHU Dataset
GrayScale 灰度图像,聚焦和散焦区域的边界自然过渡 10 对 Double Series 灰度图像 不固定 GrayScale Dataset

2.2 生成数据集的方法

自制多聚焦图像融合数据集的方法是:对清晰图像进行模糊获得多张聚焦区域不同的源图像。

可以使用三种方法获得:

  • 对清晰图像采用 mask 进行高斯模糊,绝大部分论文采用这种方法
  • 使用 ps 手动模糊目标区域,MFI-WHU数据集 就是这样做的
  • 基于 RGB-D 深度数据集,设置随机深度阈值对清晰图像的前景和背景依次进行高斯模糊,获得源图像对,参考 IFCNN 和 FusionDiff

3. 图像融合评价指标

评价指标计算代码下载地址如下,下面几个项目基本包括了所有常见的图像融合评价指标。

评价指标 地址
AG, CC, EN, FMI, MI, MSE, SSIM, MEF-SSIM, MS-SSIM, N A B / F N_{AB/F} NAB/F, PSNR, Q A B / F Q_{AB/F} QAB/F, SCD, SD, SF, VIFF Linfeng-Tang
EN, CC, SD, SF, SSIM, VIFF HarrisXia
Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, Q E Q_{E} QE, Q G Q_{G} QG, MI, NCIE, Q P Q_{P} QP, Q Y Q_{Y} QY yuliu
AG, EN, PSNR, Q A B / F Q_{AB/F} QAB/F, Q C B Q_{CB} QCB, Q C V Q_{CV} QCV, RMSE, SF, SSIM 等 xingchenzhang

你可能感兴趣的:(#,多聚焦图像融合,深度学习,人工智能,图像处理,python)