[医学多模态融合系列 -2] A review on multimodal medical image fusion

这个系列会解读一些列医学多模态融合的文章，了解近在医学领域这两年（2020之后）最新的多模态融合方法.

---

paper2: A review on multimodal medical image fusion: Compendious analysis of medical modalities, multimodal databases, fusion techniques and quality metrics
国内打不开链接，需要原文的链接加v发：liyihao76

0. Abstract

• Background and objectives
  在过去的二十年中，医学成像已广泛应用于诊断疾病。由于缺乏该领域的信息，医学专家仍然难以用单一模式诊断疾病。图像融合可用于将特定器官的图像与来自各种医学成像系统的疾病合并。解剖学和生理学数据可能包含在多模态图像融合中，使诊断更加简单。寻找具有融合质量评估的最佳多模态医学数据库来评估推荐的图像融合方法是一项艰巨的挑战。因此，本文提供了多模式医学图像融合方法、数据库和质量测量的完整概述。

• Methods
  在本文中，提供了对不同医学成像模式的简要回顾和相关多模态数据库的评估以及统计结果。医学成像模式是基于辐射、可见光成像、显微镜和多模态成像来组织的。

• Results
  医学成像采集分为侵入式或非侵入式技术。融合技术分为六大类：频率融合、空间融合、决策级融合、深度学习、混合融合和稀疏表示融合。此外，还介绍了每种模式和融合方法的相关疾病。本文还封装了质量评估融合指标。

• Conclusions
  这项调查为该技术领域的医学专家提供了一个基线指南，可以结合术前、术中和术后成像、用于疾病检测的多传感器融合等。讨论了当前文献的优缺点，并提供了未来的见解因此。

• Keywords
  Multimodal medical image fusion, Multimodal databases, Fusion techniques, Image fusion quality metrics

1. Introduction

二十多年来，不同的医学成像模式已用于疾病诊断的临床应用。通常，很难从单一的成像模态中提取所有需要的信息来保证诊断的临床精度和检查强度。因此，多模态方法将来自各种模态的医学图像结合起来，制作出具有丰富信息的新融合图像，对临床使用是可靠的。多模式医学图像融合 (MMIF - Multimodal Medical Image Fusion) 利用来自不同来源的图像，如 X 射线、计算机断层扫描 (CT)、单光子发射计算机断层扫描 (SPECT)、超声波 (US)、磁共振成像 (MRI)、红外线和紫外线、正电子发射断层扫描(PET)等。MRI、X-ray、CT、US的图像都可以显示病灶的位置、大小、外观，以及它在体内引起的形态和结构变化。附近的组织。为了深入了解肿瘤的生物学过程、软组织以及功能信息，PET、fMRI 和 SPECT 的使用正变得越来越普遍。医学图像的功能和结构数据可以结合起来产生更有价值的信息。医学图像融合在同一人体器官的治疗中起着至关重要的作用，可以实现更准确的疾病监测和分析[ 1 ]。图像融合技术广泛应用于以下领域，包括遥感、机器学习、卫星监视、图像对比度增强、增强几何调整和医学成像，以显着改善使用单个图像无法观察到的特征，例如恶性肿瘤、病变、癌细胞等 [ 2 ]。杂志、书籍和期刊中越来越多的研究文章证明了多模态图像融合的高度兴趣和重要性。图 1显示了每年多模态图像融合领域的出版物数量。结果来自 PubMed，这是一个针对生物医学学科的在线数据库 [ 3 ]。

Fig1: 每年从 PubMed 获得的多模态图像融合出版物（1993 年至 2021 年第三季度）

多模态医学图像融合技术和分类已在各种调查和评论文章中进行了总结 [ [2]、[3]、[4]、[5]、[6 ]]。例如，亚历克斯等人。[ 2 ] 涵盖医学图像融合领域解决的各种科学问题。通过检查的技术、成像模式和器官来定义医学图像融合研究，但本次调查中仍然缺少多模态数据库和融合质量评估指标。焦等。[ 4]详细解释了多模态医学图像融合步骤，例如图像融合分解和重建，以及融合规则，比较了六种融合方法并使用了八种图像融合质量指标。这项工作专门针对哈佛医学 (AANLIB)，但仍然需要检查更多多模式数据库以获取更多种类的数据集。此外，作者在他们的研究中没有解决与 MMIF 相关的当前疾病。法特玛等人[ 5 ]介绍了医学图像配准和高亮医学图像融合的分类以及基于融合工作的当前疾病。比卡什等。[ 6] 提供了使用不同融合质量指标的基于区域的图像融合技术的详细比较。本综述中使用的图像来自不同来源，例如多模态医学图像、红外线和可见光图像融合、多焦点图像融合等。MMIF 质量指标也以表格形式进行了讨论。

表 1总结了最近的文献综述并将其与我们当前的研究进行了比较。我们强调了每个 MMIF 评估中必须包含的许多关键点。下表基于以下几点：
IM（Imaging Modalities 成像模式）；它描述了融合中使用的多模态医学成像模态的存在。

Quant. A（Quantitative Analysis 定量分析）；调查文章是否对各种技术的不同融合指标进行了定量比较。

Qual. A （Qualitative Analysis 定性分析）；调查文章是否对各种技术的不同融合成像模式进行了定性比较。

D.D（Database Description 数据库描述）；它显示评论文章是否封装了具有用于医学融合的全面描述的多模态数据库。

T.D（Techniques Description 技术描述）；它表示评论文章是否对MMIF有任何理论技术描述。

D.F（disease-based Fusion 基于疾病的融合）；这些文章是否在他们的贡献中包括基于疾病的融合工作。

F.B.S（Fusion Basic steps 融合基本步骤）；这些文章是否包括在进入高级技术之前执行医学图像融合的一般步骤和规则。

M.D（Metrics Description 指标描述）；调查文章中是否有对 MMIF 性能指标的适当描述。

我们通过克服以前工作的所有缺点、彻底讨论这些模式、可免费访问的多模式数据库、医学图像融合技术的分类和相关疾病，对多模式医学成像模式进行了回顾。MMIF 方法分为六个领域：空间、频率、决策级融合类型、深度学习、混合和稀疏表示融合。这五种 MMIF 方法根据融合质量性能指标结果相互比较。此外，还总结了最近一些不同疾病检测的多模态图像融合文章。这篇评论文章的安排在图 2中突出显示。

Fig2: 本文封装部分的安排

本文的主要贡献如下：

• 基于电磁频谱和有创/无创方法的医学成像模式分类分别如图3和表2所示。图 4显示了基于用于图像采集的能源的分类。
• 表 3列出了所有可在线公开访问的多模态医学数据库的详细比较。图 6显示了过去五年每个数据库的使用频率分布，图 6 (b)总结了本综述中使用每个提到的数据库进行比较的文章。
• 医学图像融合技术的总体和基本流程如图11、图12所示。
• 基于频率融合、空间融合、决策级融合、深度学习、混合融合和稀疏表示融合的医学图像融合技术分类如图13所示。
• 图 14显示了使用在此实现的各种 MMIF 方法获得的视觉图像结果的比较。
• 表 6总结了基于不同疾病的现有作品的分类。
• 表 7解释了所有可能的 MMIF 质量评估指标。
• 六种不同方法使用一个大型数据库AANLIB的医学图像融合统计结果如表8所示。

第2节包含对医疗方式的全面讨论。第3节讨论开放访问多模式医学数据库。第4节讨论医学图像融合的方法及其在第5节中讨论的分类。第6节说明了与每种技术相关的疾病。融合质量评估指标在第7节中解释，而评论文章在第8节中总结。

2. Medical imaging modalities

在医学领域，每种成像方式都有独特的信息和特征。用于筛查和诊断人体不同疾病的不同医学影像模式位于整个电磁（EM）频谱范围内，如图3所示。每种成像模态都有不同的波长和频率，也表现出不同的特性 [ 13 ]]. 当 EM 波撞击物体时，它们会被物体散射、反射或吸收。MRI 会产生磁场，诱导体内的质子对齐。当对患者施加射频电流时，质子被激活并与磁场异相旋转。X 射线和 CT 图像的模态由于其高频范围为 3 × 10¹⁶ 至 3 × 10¹⁹ Hz，因此具有很强的辐射性并且对人体有害。PET和SPECT等核成像模式使用伽马射线诊断人体器官的功能活动。伽马射线的频率大于 10¹⁹Hz 和波长小于 10 picometers。X射线、CT、SPECT和PET是基于电离原理，而MRI和US是基于非电离原理[ 14 ]。一些现代医学成像现在也用于内窥镜成像，例如白光(While light)和窄带成像(Narrowband imaging) [ 15 ]。

Fig3: 电磁频谱的生物医学图像模式

此外，每种模态的图像采集过程也不同。一些使用内部能源获取图像，一些使用外部能源，而另一些则利用内部和外部能源的组合。基于用于图像采集的能量源的不同成像模态的分类如图4所示。

Fig4: 生物医学图像模式与能量来源

医学成像模式的另一种分类是基于侵入性和非侵入性方法，如表 2所示。侵入性方法是指通过切口或针头注射将任何物体插入体内来检查器官，而非侵入性方法则利用某种辐射或声波。医学成像模态的主要分类如图5所示。

Medical Modalities	缩略语	侵入式/非侵入式	特点
MRI	磁共振图像 Magnetic Resonance Image	非侵入式	MRI 图像显示了大脑中软组织和异常组织以及血流的大量细节。MRI 可以识别小的中风、病变等，但不能提供有关大脑活动或癌细胞信息的信息 [ 17 , 18 ]。
CT	Computed Tomography	非侵入式	CT 图像显示颅骨、骨骼结构、大的异常、中风、出血和脑部病变，但没有提供有关软组织的详细信息 [ 17 ]。
X-Rays		非侵入式	X 射线用于诊断人体的解剖结构。从 X 射线图像中可以很容易地看到正常、异常和骨折的骨骼 [ 16 ]。
US	超音波 Ultrasound	非侵入式	US约为 20 kHz 至数 GHz 频率范围的声波。与 X 射线和 CT 图像相比，它成本低且更安全。US 适用于解剖学和功能性身体器官 [ 2 , 19 ]。
PET	Positron Emission Tomography 正电子发射断层扫描	侵入式	PET 扫描显示大脑中的活动，以及大脑中作为能量的糖活动。他们还使用不同的颜色提供有关大脑中癌细胞的信息 [ 17、19 ]。
SPECT	Single Photon Emission Computed Tomography 单光子发射计算机断层扫描	侵入式	SPECT 扫描通过分析血流指示大脑最活跃的区域。SPECT 可以检测痴呆、癫痫、血管阻塞等疾病[ 17、19 ]。
Endoscopy	内窥镜检查	侵入式	通过使用小型照相机的内窥镜检查，可以看到人体的内部结构。内窥镜的主要应用是检查胃的内部结构 [ 20 ] 。
Microcopy	显微镜	非侵入式	光学（光学）显微镜和电子显微镜用于在微观层面检查生物信息 [ 22 ]。

Table2: 最突出的 MMIF 成像方式的比较。

Fig5: 医学成像模式的分类

2.1 Radiology 放射学

出于诊断和治疗目的，这种类型的医学成像使用电离和无线电波、伽马射线和声波。X 射线、计算机断层扫描 (CT) 和磁共振成像 (MRI) 都涉及辐射（电离和无线电波），而US使用声波，而 PET 和 SPECT 使用伽马射线进行诊断。

X 射线(X-ray)图像于 1895 年首次引入，是医学领域使用的最古老的成像方式。X 射线模式用于诊断骨折的解剖结构[ 16 ]。尽管 CT 图像属于 X 射线成像领域，但 X 射线使用一个方向的辐射，而 CT 射线从不同的角度和距离发射到患者体内。CT 图像以器官横截面区域的形式呈现，由许多 2D 切片图像组成，从中可以获得 3D CT 图像 [ 17 ]。CT图像用于诊断骨折、肿瘤位置、癌症、心脏组织、肺栓塞等。MRI医学图像利用强磁场在人体内诱导不同方向的质子。因此，更详细的图像由许多切片序列组成。与 CT 图像相比，MRI 图像包含更多的软组织信息，但需要更长的采集时间。MRI 图像还用于检查血管、脑和乳腺肿瘤、异常组织、脊柱损伤等 [ 17 ]。MRI通常是非侵入性的，但有时也可能是侵入性的，这取决于成像的应用和要求，在许多文章中提到MRI被认为是非侵入性的，因此我们将其归类为非侵入性组。

功能性核磁共振成像（fMRI）是一种用于获取身体功能信息的核磁共振成像，例如大脑活动、血氧水平等[ 18 ]。US 模式利用声波，用于分析肿瘤、识别癌症、进行前列腺活检以及观察胎儿体内早产婴儿的运动 [ 2、12 ] 。血管造影是一种侵入性技术，通过小切口将细长管插入动脉以到达目标区域。将造影剂注入该管后，会获得一系列 X 射线图像，以检测血管并检查心脏、大脑、眼睛和手部动脉中的血流。SPECT 和 PET 也是侵入性技术，将放射性同位素注入患者体内以获得功能信息，用于诊断脑部或肝脏癌症、分析软组织血流以及检测脑部和胰腺肿瘤[2、12、17]].

2.2 Visible light imaging 可见光成像

在可见光成像中，患者受到可见光源光线而不是不可见光线的照射，由此产生彩色或灰度图像。皮肤医(Dermatology)和内窥镜(endoscopy)医学图像是可见光成像方式的两个重要示例 [ 20 ]。皮肤病学模式适用于皮肤，通过使用光线来评估皮肤疾病，例如皮肤过敏、病变、感染和细菌性疾病。内窥镜检查模式还使用可见光来检查人体的内部结构。这些类型的图像可用于术前、术中和术后诊断。小型光学相机通常连接到内窥镜管上以获取医学图像。眼科学是应用可见光成像研究眼睛的结构、功能和疾病 [ 21 ]。另一种器官形式是耳鼻喉科，它研究鼻子、喉咙、耳朵以及颈部和头部的相关结构。

2.3 Microscopy imaging 显微成像

在显微镜模式中，收集了无法从普通其他模式获得的小型生物对象的医学信息 [ 22 ]。显微镜的两种主要类型是电子显微镜和光学（光学）显微镜。在包括扫描电子显微镜和透射电子显微镜的电子显微镜中，诊断对象暴露在电子束中。在光学（光学）显微镜中，光线穿过显微镜的镜头以放大物体并获得诊断医学图像。相差显微镜(PCM)、亮光显微镜 (BLM)、荧光显微镜和暗场显微镜 (DFM) 都使用光学显微镜。

2.4 Multimodal imaging 多模态成像

个体成像方式只能收集有限的医学信息。具体来说，解剖和刚性结构信息只能从 CT 和 X 射线图像中获取，而具有某些功能信息的结构可以从 MRI 图像中收集。此外，SPECT 和 fMRI 图像仅显示详细的功能信息。由于信息的限制，医学专家在使用单一成像模式时往往难以诊断疾病。因此，引入了多模态成像模态概念，它通过融合算法将一种以上的模态与另一种模态融合，以获得详细的合成图像。流行的多模态模式组合包括 CT-MRI、MRI-SPECT、MRI-PET、X 射线和 US、MRI-US 等 [ 23 ]]. 表 2描述了最常见的成像方式之间的比较，指出了每种方式的特征和侵入性/非侵入性分类。

3. Multimodal image databases

在本节中，我们将讨论一些重要的多模态医学数据集，它们是任何多模态医学图像融合技术的关键初始步骤，特别是对于测试和诊断。尽管出于实验目的可以在线免费获得许多数据集，但研究人员需要来自相同和不同患者的不同模式的医学图像来验证融合算法。这些图像大多是在同一时期内获取的，而其他图像是在不同时期拍摄的，以便更好地诊断和评估疾病进展/衰退。

在此，本文讨论了五个免费的在线多模式数据库，即 OASIS、TCIA、BrainWeb Atlas (AANLIB)、ADNI 和 MIDAS，这些数据库包含数千张具有多种成像模式的图像。这些数据集对研究人员分析他们的图像融合算法很有用。表 3给出了这些数据库的总体比较。选择这些数据库是因为它们：1) 可免费获得，2) 包含相同和不同患者的不同模式的图像，以及 3) 包含许多不同疾病和不同图像格式的扫描身体器官。

Table3: MMIF 应用的多模式数据库比较。

“Open Access Series of Imaging Studies”（OASIS）数据库主要包含医学脑图像和三个项目，即OASIS-1、OAIS-2和OASIS-3。OASIS-1 项目包括总共 416 名受试者的 MRI-T1 和 T2 图像，包括男性和女性，年龄在 18-96 岁之间 [ 24 ]。OASIS-1 数据集还包含有关阿尔茨海默病 (AD) 和 20 名非痴呆症患者的信息。癌症影像档案 (TCIA) 主要包括采用 Dicom 图像格式 [ 25 ] 的医学图像、不同的成像模式和多个身体扫描区域。TCIA 共包含 22 种模态，其中大部分图像来自乳腺摄影(MG)，其次是CT而不是MRI图像。该数据库还提供了来自总共 52 个身体解剖器官的图像，例如乳房、胸部、大脑和结肠。哈佛医学院提供了 WholeBrain Atlas (AANLIB) 脑图像数据集，该数据集可在线公开访问 [ [26] , [27] , [28] ，AANLIB 数据集主要分为基于正常和疾病的脑图像。正常的脑图像是2D或3D的，而病变图像进一步分为脑下疾病，包括脑中风和肿瘤、退行性和感染性疾病以及许多其他脑相关疾病。此数据库中的所有图像均为 GIF文件格式并且易于使用。AANLIB 数据库侧重于大脑图像，包含 MRI、CT、PET 和 SPECT 成像模式。“阿尔茨海默病神经影像学倡议”(ADNI) 还提供来自三种模式的阿尔茨海默病大脑图像：CT、MRI 和 PET。MIDAS 医学数据库包含许多不同图像格式的各种身体器官的医学模态图像 [ 29 ]。在 MIDAS 中，2010 年设计的 RIRE 项目只专注于多模态医学图像处理[ 24 ]。

PubMed 医学数据库是一个在线生物医学搜索引擎，包含超过 3000 万次生物医学和生命科学引用，用于收集有关这些数据集的统计结果。在此，过去五年的结果是从 PubMed 收集的。过去五年使用这五个医学数据集的多模态融合文章的频率分布如图6（a）所示。我们只收集了与这五个公共开放获取数据库相关的出版物；此外，我们在 PubMed 中使用了子过滤器搜索来识别人体中最常发生的可以用 MMIF 治疗的器官疾病。然而，由于这些子过滤器搜索提供了全面的信息，我们能够消除大量出版物，如前所述图 1。

Fig6: PubMed数据库MMIF统计结果 (a)近5年多模态数据库w.r.t.医学影像融合使用频率分布；(b) 本研究中使用的多模式数据库的频率分布和 (c) 在过去五年中来自 PubMed 的关于人体器官的多模式融合文章的数量。

以下关键字用于在 PubMed 中搜索过去五年中提到的五个数据库的结果。
• 对于 OASIS 数据库，使用了关键字 keywords (medical image fusion) AND (OASIS OR https://www.oasis-brains.org/) ，从中提取了 18 篇研究文章。

• 对于 AANLIB 数据库，使用了关键字 keywords (medical image fusion) AND (AANLIB OR Harvard medical OR http://www.med.harvard.edu/AANLIB/home.html) 。可以看出，大多数文章都使用了这个数据库，因为它包含多种模态并且易于使用。与其他四个相比，大多数关于医学图像融合的文章都是从这个数据库中获得的。

• 对于 ADNI 数据库，使用了关键字 (medical image fusion) AND (ADNI OR http://adni.loni.usc.edu/) 。

• 对于TCIA 数据库，搜索了关键字 keywords (medical image fusion) AND (tcia OR cancer imaging archive OR https://www.cancerimagingarchive.net/)

• 对于 MIDAS 数据库，使用了关键字keywords (medical image fusion) AND (RIRE OR https://www.insight-journal.org/)

本综述所用文章的多模态数据库频率分布图如图6（b）所示。此外，多模态图像融合领域的文章检查了不同的身体器官，用于特定人体器官的临床诊断。从 PubMed 获得的基于不同身体器官的融合文章，即 Brain、Lungs、Eye/Retina 和 Cardiac，也在图 6（c）中进行了分类。同样，PubMed 医学数据库与关键字 (Multimodal medical image fusion AND (“organ name” OR dataset)一起使用。可以观察到，大多数文章包含关于大脑的信息，而只有 37 篇文章是关于眼睛/视网膜的。

图 7显示了来自哈佛医学数据库 [ 30 ]的一些样本图像，图 8显示了来自 OASIS 数据库 [ 24 ]的痴呆症和阿尔茨海默病的健康 MRI 和 MRI 图像。来自 MIDAS 数据库 [ 24 ]的样本大脑图像显示在图 9中，从 ADNI [ 31 ]收集的样本大脑图像显示在图10中。

Fig7: slice-60 的正常大脑 3D 图像的哈佛医学数据集（开放访问公共数据库）[ 30、32 ] ：( a) MR-T1，(b) MR-T2，和 (c) PET 脑图像的Trans -axial 、矢状和冠状方向（从左到右）。

Fig8:来自 OASIS 数据集（开放式公共数据库）的MRI 图像[ 24 ]：(a) 非痴呆性衰老疾病，(b) 高级轻度痴呆，(c) 轻度痴呆，(d) 不太极端的痴呆，( e) 阿尔茨海默病 (AD)，和 (f) 健康对照 (HC)。

Fig9:来自 MIDAS 数据集（开放访问公共数据库）：(a) CT 图像，(b) T1 加权 MRI 图像，(c) T2 加权 MRI 图像，以及 (d) PET 图像[ 24、33 ]。

Fig10:来自 ADNI 数据集（开放访问公共数据库）：(a) 原始 MRI 冠状图像，(b) 轴向扩散张量图像 (DTI)，(c) 原始轴向 DTI，和 (d) 后处理 MRI 图像 [ 31 ]。

4. Fusion steps

多模态图像融合方法是一种过程，它集成(integrates)了来自一种或多种成像模式的许多图像，以提高准确性和质量，同时保留图像的互补信息 [ 32 ]。医学图像融合主要涉及MRI、PET、CT和SPECT[ 2 ]。尽管空间分辨率较低，但 PET 和 SPECT 模式可提供包含身体功能信息的图像，例如有关新陈代谢、软组织运动和血流的详细信息。MRI、CT 和 US 提供高空间分辨率图像，提供有关身体的解剖信息。多模态图像通常通过合并功能图像和结构图像来获得，以便为健康专家诊断临床疾病提供更好的信息。

医学图像配准(Medical image registration)用于几何对齐(geometrically align)两个图像，然后通过重叠两个输入源图像来应用图像融合技术以产生具有额外和互补信息的合成图像[ 19]. 在图像融合步骤中必须满足两点：1）输入图像中存在的所有适当医学信息必须存在于结果图像中，以及 2）融合图像不应包含任何不存在于输入图像中的额外信息输入图像。融合可以应用于从不同来源的成像模态获得的多传感器图像、通常从相同模态获取的多焦点图像以及在医学中广泛使用的多模态图像。本节介绍 MMIF 程序、其各个步骤以及多模态融合分类和方法。

在多模态融合过程中，研究者首先选择感兴趣的身体器官。然后，选择两种或多种成像模态以使用适当的融合算法进行融合。为了验证融合算法，需要性能指标 [ 34 ]。在最后一步中，生成的融合图像比输入图像包含更多关于身体器官扫描区域的信息。MMIF的整体流程如图11所示。

Fig11:整体多模式医疗融合程序。

在初始阶段，输入源图像通过将其与参考图像映射来配准(registered)，以根据图像融合过程的特定特征关联和匹配等效图像 [ 35 ]。在图像分解阶段，使用融合算法将输入图像分解为子图像和融合系数。然后，应用融合规则提取子图像的重要信息和多个特征，以帮助后续步骤。最后，通过使用称为图像重建 [ 36 ] 的逆算法组合子图像来重建融合图像。

如图所示，图像融合方法由有助于实现目标的各种简单阶段组成。图 12展示了与图像融合方法相关的主要步骤。

Fig12:医学图像融合分步过程。

5. MMIF techniques classification

尽管有多种图像融合方法，但我们主要关注六个维度：频率融合、空间融合、决策级融合、深度学习、混合融合(hybrid fusion)和稀疏表示融合(sparse representation fusion)。我们首先提供像素级和特征级图像融合的概述，以帮助理解广泛的分类。

Fig13:医学图像融合技术分类。

在基于像素级的融合方法中，图像直接利用奇异像素进行融合决策 [ 27 , 37 ]。它进一步分为频域（第5.1节）和空间域（第5.2节）。空间域技术利用基本的像素级策略，即在图像的像素级上运行。由于它是在初始图像上实现的，因此生成的图像表现出较小的空间失真和较低的信噪比 (SNR)。这个领域下的方法是强度色调饱和度（IHS），简单最大值，独立成分分析(ICA)、简单最小值法、主成分分析法(PCA)、加权平均法和简单平均法等。在频域方法中，首先将图像通过傅里叶变换转换到频域。然后，对频率量进行融合处理，再进行逆变换得到最终的融合图像。该方法进一步表征为变换融合技术和金字塔融合方法[ 32 ]。金字塔技术用于多分辨率分析，而变换融合方法包括小波分解、轮廓波（CT）和曲波变换融合等[ 33、34 ]。

在基于特征的技术中，互补特征是从输入医学图像中提取的，例如不同的区域、边缘、维度、图像片段和形状 [ 28 ]。许多研究人员已经证明，基于图像区域或对象组合的医学图像融合比基于像素级的图像融合具有更显着的融合结果[ 56 ]。基于特征水平的方法分为基于区域和基于机器学习的融合。神经网络、PCNN、K-means 和模糊聚类是常见的机器学习技巧。在基于区域的技术中，输入图像被分割成子图像，然后从这些片段或区域中确定特征。

5.1 Frequency fusion methods

在这些方法中，首先通过计算傅立叶变换 (FT) 将输入图像转换到频域，然后将融合算法应用于变换后的图像，然后进行逆 FT以获得合成融合图像 [ 34 ]。这些技术进一步分为金字塔和变换技术 [ 38 ]。金字塔融合方法包括高斯、微分、拉普拉斯和形态金字塔、过滤减去十进制金字塔 (FSD) 和斜率金字塔 [ 39 ]。变换融合方法涉及小波分解、CT和Curvelet变换。此外，小波分解技术包括离散小波变换（DWT）、双树复小波(DT-CWT)、提升小波 (LWT) 和冗余离散小波 (RDWT) 方法。Contourlet 变换融合方法的示例有双树复数 Contourlet 变换 (DT-CCT) 和非二次采样 Contourlet (NSCT) [ 40 ]。此外，ridgelet、curvelet 和 bandlet 是曲波变换融合方法的类型 [ 41 ]。

曲等[ 42 ] 提供了一个融合规则，用于寻找具有不同带宽和级别的输入图像的小波模最大值。为了量化融合影响，计算了基于 MI 测量的度量。研究人员选择了 CT 和MRI 大脑输入图像进行融合。这种方法的好处是保留了融合图像中的分量和边缘特征信息。然而，这种技术未能满足移位不变性的要求。RDWT [ 43 ] 解决了这个问题，由于依赖于非线性配准和熵图像信息的互信息，RDWT 证明了比 DWT 更高的性能。穆斯塔法等人。[ 44]介绍了四种多模态图像融合方法，即拉普拉斯金字塔、多焦点、小波变换和计算高效像素级图像融合（CEMIF），应用于肝脏CT和MRI图像检测肝脏病变。

刘等人[ 45 ]推荐了一种基于多小波变换（MWT）的多模态图像融合技术，并使用PET和CT胸部图像进行融合。杨等。[ 46 ] 提出了一种基于 Contourlet 变换 (CT) 的新融合技术，其中通过采用高通子带的逆 CT 获取合成融合图像。尽管该技术展示了改进的定位、各向异性和多尺度特性，但与小波等其他多尺度分析技术相比，它无法提供显着改进。基于 Shearlet 变换 (ST) 融合了三组 CT 和 MRI 脑图像，由于 ST 方法对共享方向的数量没有限制，因此产生了最佳的稀疏方向图像。学军等。[ 47]提出了另一种基于LWT的多模态图像融合方法，根据高低频权重和各种融合规则对输入图像进行分解。人脑图像的输入 CT 和 MRI 被考虑用于融合。Bhatnagar 等人。[ 48 ]提出了一种基于NSCT的多模态图像融合方法。医学图像最初是通过将低频分量与高频分量相加来转换的。两种不同的融合规则取决于方向对比和相位一致性，用于融合高频和低频系数。最后，通过逆向 NSCT 获得合成的融合图像。萨胡等人。[ 49] 提出了一种使用拉普拉斯金字塔 (LP) 和 DCT 的方法，其中 LP 将输入图像分解为不同的低通图像，类似于金字塔结构。当金字塔层级增加时，融合图像的质量会提高，从而改善边缘和信息。与 Daubechies 复小波变换 (DCxWT) 相比，该方法在定量和定性分析方面也产生了出色的融合结果。

习等[ 50 ] 介绍了一种多模式医学体积图像融合 (MVIF) 方法，该方法结合了使用上下文隐马尔可夫模型(CHMM)通过 3D ST 的多尺度几何分析获得的许多特征。首先，3D ST 用于将输入图像分解为低频和高频分量。然后，将具有局部能量的最大融合规则应用于低频子带，并实施有效的多特征融合规则来集成高频子带的分量。与体积医学图像的 2D MST 工具相比，3D ST 提供更好的分解性能。明等[ 51] 提出了一种基于 NSST 的新方法，用于将源医学图像分解为多尺度，同时使用“参数自适应脉冲耦合神经网络”（PA-PCNN）来确定高频带图片。一种用于确定医学图像低频带的能量保存方法。使用逆向 NSST 技术和四种多模式医学模式构建合成融合图像：CT、MRI、PET 和 SPECT。阿里夫等人[ 52]提出了一种基于CT和遗传算法（GA）的多模态图像融合方法。遗传算法用于计算图像中存在的不确定性和乱序，并优化融合过程。该方法使用 MRI、MRA、PET 和 SPECT 模式对大脑图像进行了验证。表 4总结了上述所有技术。

Table4: 略，见原文 MMIF 技术分类和文献中的主要贡献。

5.2 Spatial fusion methods

基于图像像素的空间融合方法，其中操纵像素值以实现所需的结果。空间域方法包括 PCA、IHS、Brovey、高通滤波方法、ICA、简单最大值、简单平均和加权平均 [ 19 ]。然而，空间域方法的问题在于它们会在合成的融合图像中产生空间失真，这被认为是融合过程中的负面因素。Stokking 等人[ 53] 提出了一种 HSV 模型，用于融合通过使用颜色编码模式从 MRI 和 SPECT 模式获得的解剖学和功能信息。该模型比 RGB 模型表现更好，并且允许快速、简单和直观地回顾性确定融合图像中泛函的颜色编码。所提出的方法在大脑图像上实施，以评估两种 HSV 颜色处理技术。Daneshvar 等人[ 48 ]介绍了一种基于视网膜模型的多分辨率图像融合技术，该技术结合了高斯差分（DoG）操作。性能结果与 DWT、HSI 和 WT 方法进行了比较。基于视网膜视觉的模型在生成的图像中提供高光谱特征，空间失真较小。

他等人[ 54 ] 开发了一种算法，该算法集成了 IHS 和 PCA 方法的优点，以改进融合图像。PET 生成具有合理颜色和较低空间分辨率的医学图像，而 MRI 提供具有颜色外观的合适空间分辨率。建议的策略在人类感知和图像质量评估标准方面表现更好。巴希尔等人[ 55] 提出了一个基于 PCA 和 SWT 的模型，该模型在各种医学图像上进行了测试。结果表明，在多模态融合中，PCA 以独特的对比度和亮度水平取得了优异的结果。当图像来自不同来源（如多模态和多传感器图像）时，SWT 似乎提供了卓越的性能。表 4列出了上面列出的技术。

5.3 Decision level fusion

决策级融合使用特定的预定义标准来决定每个输入图像，然后根据每个结论的可信度合并到全局最优值中，以生成单个融合图像。这些类型的技术使用融合过程之前定义的某些规则产生最大信息 [ 56 ]。字典学习和贝叶斯技术是决策融合中使用最普遍的方法。在决策层，通常会综合三种方法来得到融合图像，这些方法是（信息论、逻辑推理和统计方法）；包括联合措施、贝叶斯融合技术、混合共识方法、投票和模糊决策规则。贝叶斯方法基于组合来自各种传感器的数据的概率，这些技术依赖于贝叶斯假设。非参数贝叶斯、HWT 贝叶斯和 DWT 群优化是贝叶斯技术的例子 [ 57 ]。

使用参考文献提供的基于稀疏表示的非参数贝叶斯 (SR-NPB) 技术融合 PET 和 MRI 图像。[ 58 ]对于视觉和定量比较，该技术优于其他三种 SR。在执行时间方面，新方法更快。二十组 PET 和 MRI 扫描用于他们研究中的实验。[ 59 ] 在他们的融合过程中使用了 BRATS 数据库，其中包括 MRI 大脑。作者提出了一种基于 Fractional-BSA 的贝叶斯融合策略。这种方法可以计算出适合融合的贝叶斯参数。通过使用 HWT 从原始图像生成的小波，可以更轻松地融合图像。在参考文献中。[ 60] 研究中，鸟群优化被用来开发一种新的贝叶斯融合算法。正在使用 BRATS [ 61 ] 数据库开发图像融合。贝叶斯融合是通过在使用 Haar-DWT 算法修改源图像后使用 BSA 算法优化源图像来执行的。根据研究结果，该策略击败了目前使用的三种融合技术——NSCT、SWT 和 SWT-NSCT。

所有图像最初都在参考文献中进行了整合和匹配。[ 62 ]研究。输入图像的多分辨率小波分解比单一分辨率方法提供更多的补充信息。使用互信息 (MI) 的遗传搜索策略的比较表明模糊聚类策略优于使用 MI 的遗传搜索技术。参考文献中提出了一种独特的基于低秩稀疏分解和字典学习的医学图像融合技术。[ 63 ] 医学影像去噪增强研究。字典学习模型包含正则化项具有低秩和稀疏分布。融合图像输出是通过组合源图像的低秩和稀疏分量构建的。

5.4 Deep learning fusion methods

这些方法由多层组成，其中每一层都从上一层获取输入。深度学习有助于大数据操作的复杂框架架构的分层结构和适用性[ 64、65 ] 。深度学习融合方法包括 CCN、卷积稀疏表示 (CSR)（也称为卷积稀疏编码技术）和深度卷积神经网络 (DCCN)。深度学习的CNN模型，在所有其他技术中更受欢迎[ 66、67]，是可训练的，并且可以很好地调整以学习多层架构框架中输入数据的特征。在 CNN 中，每一层都包含几个特征图，这些特征图包含称为神经元的系数。在多个阶段中，特征图使用不同的计算连接每个阶段，包括空间池化、卷积和非线性激活。另一种流行的深度学习融合技术是卷积稀疏编码（CSC），它首先由 Zeiler 等人提出[ 68 ]并且起源于反卷积网络。该技术的主要目标是在稀疏度下实现图像的卷积分解约束。输入图像的多级特征表示通过开发这种分解的层次结构从反卷积网络中学习。然后，在这些多个分解级别的帮助下，以分层方式重建输入图像。CSR 技术在图像重建和特征学习方法方面取得了可喜的成果。

王等[ 69 ]提出了一种新的基于模糊径向基函数神经网络（Fuzzy-RBFNN）的多模态图像融合技术来进行自适应图像融合。为了训练网络，实施了 GA，并将人工模糊的医学图像包含在样本集中。实验结果表明，与其他传统融合方法相比，该方法更适用于模糊输入图像。王等。[ 70 ] 提出并测试了一种用于四种不同医学成像模式的多模态图像融合的新型多通道 m-PCNN，根据互信息标准表现出更好的性能。腾等[ 71] 提出了一种使用神经模糊逻辑和混合方法 BP 的融合技术，使用最小均方 (LMS) 来训练和调整隶属函数的参数。来自神经模糊逻辑的最终融合图像基于前馈神经网络保留纹理特征，并且与BP 神经网络技术 (BPNN) 相比包含增强的有用信息。Sivasangumani 等人。[ 72 ]开发了一种使用区域发射特征 PCNN (RFC-PCNN) 的多模态图像融合方法。所提出的技术非常适合提高医学图像融合质量以确定脑肿瘤并最大限度地减少合成融合图像中伪影的影响。

刘等人[ 73 ] 提出了一种基于 CNN 的多模态图像融合技术，其中实施了连体卷积网络以获得加权图，该加权图结合了来自两个输入图像的像素活动信息。使用金字塔以多尺度方式应用融合过程，并使用基于局部相似性的技术自适应调整融合模式以分解系数。侯等人[ 74]提出了一种基于CNN和双通道脉冲皮层模型（DCSCM）的融合方法。最初，NSST 用于生成图像的低频和高频系数。然后，融合低频系数并将其应用为 CNN 框架的输入，其中通过图像的特征图和应用自适应选择融合规则获得加权图。选择高频系数作为 DSCCM 的输入。最后通过逆 NSST 得到融合图像。这种方法比目前的一些融合方法表现出更好的性能。所描述的基于深度学习 MMIF 的技术在表 4中进行了描述。

5.5 Hybrid fusion methods

考虑到传统的多模态图像融合方法的结果并不令人满意，混合方法背后的基本思想是结合两种或多种融合技术，例如空间或变换融合和神经网络技术，以提高融合图像的质量和性能。混合方法的一般优点是提高视觉质量并减少融合图像中的伪影和噪声。Daneshvar 等人。[ 75]提出了一种基于视网膜启发模型（RIM）和HIS融合方法的混合融合方法，可以保持高空间特征和附加功能数据。性能和视觉结果表明，该技术优于 Brovey、HIS 和 DWT 方法。在所提出的方法中，熵、差异、互信息和平均梯度被用作融合质量评估参数。达斯等人[ 76 ]介绍了一种基于 NSCT 和 PCNN 的图像融合技术。输入医学图像最初由 NSCT 分解，而低频和高频子带分别由融合规则“最大选择”和 PCNN 融合。空间频率在 NSCT 域中用作后续融合过程的 PCNN 的输入。通过逆向 NSCT 获得合成融合图像。

莎米拉等人[ 77 ] 提出了另一种基于 DWT-Averaging-Entropy-PCA [DWT-Av EN-PCA] 的多模态图像融合方法，并将其与当前使用定性和定量指标的其他融合程序进行了比较。卡维塔等人。[ 78 ] 开发了一种融合方法，该方法结合了群体智能和神经网络来实现卓越的融合输出。通过使用蚁群优化(ACO) 识别和改进图像边缘。然后将检测到的边缘作为 PCNN 的输入应用。结果表明，所提出的混合策略比当前的计算和混合智能技术表现得更好。Ramlal 等人。[ 79]提出了一种改进的基于NSCT和SWT的混合融合策略。首先，利用 NSCT 将输入图像分解为多个子带。然后，采用SWT 将NSCT 的估计系数分解为各个子带。系数的加权和修正拉普拉斯算子和熵平方被实现为与 SWT 的融合规则。融合输出图像是通过逆 NSCT 获得的。

术语过度竞争近年来，医学图像融合逐渐被用于诊断不同的完整性意味着字典中的原子总数总是大于图像信号的维数。过度完备性为字典学习提供了足够数量的原子，并允许正确表示信号 [ 80 ]。正如人们所预料的那样，SR 在图像融合的探索领域引起了值得注意的考虑[ 87、88 ]。Yang 和 Li [ 65 ] 在介绍了各种基于 SR 的图像融合策略后，首次将 SR 技术应用于图像融合领域。表 4提供了关于 MMIF 稀疏表示的工作报告.

5.6 Sparse representation methods

在稀疏表示 (SR) 方法中，从图像序列中获得过完备字典，以实现源图像的稳定和显着表示 [ 82 ]。SR 表示的基本原理是将图像信号处理为来自预训练字典学习的次要原子的线性组合，其中稀疏系数显示输入图像的重要特征。稀疏性指的是正确重建信号只需要最少数量的原子，从而导致系数稀疏。

---

为了检查每个 MMIF 主要方法的视觉性能，我们使用了哈佛地图集 [ 30 ] 数据库中的定性结果。MRI、CT图像用作视觉评估的源图像。所有测试均在运行 MATLAB 2020a 和 Python 3.8 的 Windows 10 计算机上进行，配备运行频率为 1.8 GHz 的英特尔® 酷睿 I716010U CPU 和 16 GB 内存。图 14描绘了脑融合成像的视觉检查。我们比较了 Li S 等人的视觉发现[ 102 ] (Source Link-1), Zhu Z 等人[ 103 ] (Source Link-2), Zhang Y et al. [ 104 ] (Source Link-3), Yin M et al. [ 51 ] (Source Link-4), Liu Y et al. [ 81 ]（来源 Link-5）和 Das S 等人[ 105]（来源链接 6）。每种方法的源代码都可以通过源链接在线获得。每种融合技术的优点和缺点总结在表 5中。

Fig14: 使用各种 MMIF 方法获得的视觉图像结果的比较。(a1) 和 (a2) 是 CT 和 MRI 源图像。(a3-a8) 是 GFF [ 102 ]、LE-NSCT [ 103 ]、CNN [ 104 ]、NSST PAPCNN [ 51 ]、MST SR [ 81 ] 和 N-Fuzzy [ 105 ] 的定性融合结果。

Table5: MMIF 技术的比较。

6. Multimodal fusion and recent diseases

MMIF 在分析疾病和提高诊断领域的精度和性能方面表现出卓越的性能。在医学领域，单一成像模态的信息并不能提供人体器官的完整信息。例如，MRI 图像仅显示软组织信息，而 CT 图像显示骨密度信息。因此，MMIF 成为一个重要的研究领域，因为它对于为诊断和医疗提供高质量的输出图像具有重要意义 [ 113 ]。表 6总结了一些最近基于疾病的多模态融合工作。

Table6: 最近一些基于疾病检测的多模态融合方法。 雷等[ 114 ]提出了一种融合技术，利用判别特征学习实现典型相关分析（CCA） 。多模态特征及其 CCA 投影相互关联以显示每个主题，其中从阿尔茨海默病 (AD) 图像中获得了个人信息和共享信息。在这项工作中，轻度认知障碍（MCI vs. NC）疾病的准确率为 86.57% ，AD 的准确率为 96.93% [vs. 实现了正常控制（NC）]。艾哈迈德等人[ 115 ]提出了一种基于多核学习（MKL）的多模态图像融合方法来融合从结构MRI和扩散张量获得的视觉特征用于区分 AD 和 MCI 疾病的脑图像成像 (DTI) MD 图。研究人员选择了 155 名受试者的 MRI-T1 和 DTI 图像数据，其中 52 名是正常对照，45 名患有 AD，58 名患有 MCI。

查万等人[ 116 ] 提出了一种融合技术，用于诊断由脑内神经囊尾蚴病(NCC) 感染引起的病变。 NCC 是由猪带绦虫引起的寄生虫病，它会影响人脑的中枢神经结构。在该技术中，“非下采样旋转复数小波变换”(NSRCxWT) 用于组合 CT 和 MRI 医学图像。皮奇内利等人[ 117 ] 发表了一篇关于用于分析冠状动脉心脏病的多模式融合的评论文章。在本文中，他们介绍了 PET/SPECT 和 CTA 的一些融合多模式。在一个例子中，融合是通过利用左心室实现的(LV) 从两个数据集中提取的特征，然后使用互信息方法优化结果。Rajalingam 等人[ 118 ] 通过将离散分数小波变换 (DFRWT) 与 DTCWT 相结合，开发了一种 MMIF 技术来诊断神经星形细胞瘤，这是一种在人脑或人脊髓系统中由星形胶质细胞发展而来的癌症。考尔等[ 119 ] 提出了一种基于 SWT 和 PCA 技术的 MMIF 融合模型来分析退行性和肿瘤性脑肿瘤疾病。在融合过程之前的预处理中，对医学图像增强信息实施了 CLAHE 技术。

7. Image fusion quality assessment metrics

融合图像的质量由融合质量评估指标 (FQAM) 根据主观/定性和客观/定量方法确定。特别是，主观方法基于视觉检查，将最终融合图像与原始输入图像进行比较。融合图像的检查考虑了各种参数，如图像大小、空间细节、颜色等。然而，由于缺乏完全真实的地面实况图像，这些策略在许多融合应用中不方便、成本高、耗时且麻烦融合 [ 6 ]。另一种方法是客观质量评估，它采用一些评估指标. 定量/客观方法根据参考图像是否可用进一步分类。地面实况图像是融合算法验证的参考图像。地面实况医学图像在极少数情况下可用，或者可以手动构建。

参考图像的客观质量评价参数包括互信息（MI）、均方根误差（RMSE）、相关系数（CC）、峰值信噪比（PSNR）、结构相似性指标度量（SSIM）等[ 123 ] ]. 在没有地面实况图像的情况下，使用源医学图像和合成的融合图像计算质量度量。无参考图像的客观质量评价参数包括熵（H）、标准差（SD）、空间频率（SF）、相关差之和（SCD）、交叉熵（CE）、融合互信息（FMI）、Petrovic度量、Piella 度量（Q0、Qw、QE）等。表 7给出了一些重要的质量融合评估度量及其数学表达式. 为了分析定量结果，我们从文献中收集了每种技术的一些融合工作，并使用三种最常见的指标（MI、SD 和 SSIM）比较了它们的统计融合结果。定量质量评价结果见表8。

Table7: 略，见原文 MMIF 质量性能指标。
Table8: 略，见原文 性能评估指标比较。

8. Conclusions & future insights

最近的调查简要讨论了医学图像融合的主题。首先，该研究详细描述了 MMIF 中使用的各种医学成像模式。在转向更高级的 MMIF 方法之前，我们描述了几个 MMIF 数据库和融合规则工作流的主要过程。本出版物总结了 MMIF 算法的研究。本研究提出了涉及频率融合、空间融合、决策融合、深度学习、混合融合和稀疏表示融合的比较图像融合研究。结果和文献评估表明，大多数 MMIF 评论并未完全涵盖所有分类策略，并且许多评论中没有与 MMIF 相关的多模态数据库和当前疾病。在这项研究中，表 4、表 5、表 6提供了基于文献综述的几种 MMIF 算法的比较。使用表 8中的各种客观标准评估输出融合图像的质量。DL 融合和混合级方法被证明可以在本综述观察下提高融合的定量结果。与其他融合方法相比，DL和Hybrid的结果更加合理。在决定哪种成像方法最适合特定应用时，需要考虑很多因素，因此不可能说哪一种是最好的。在这篇评论文章中，以下贡献总结如下：

•根据 EM 光谱、能量来源和成像采集对 MMIF 中使用的医疗模式进行分类。

•分析与多模态图像相关的五个医学数据库以提取统计结果。

•讨论 MMIF 的一般过程，进一步分为六种不同的方法：频率融合、空间融合、决策融合、深度学习、混合融合和稀疏表示融合。

•基于图像质量评估指标的这些技术的比较。

近年来，医学图像融合已逐步用于有效诊断不同疾病。以前，重要信息是从单一模态获得的，但是通过使用来自不同传感器和成像设备的 MMIF 可以很容易地增加这些信息. 本文还讨论了利用此类融合技术进行疾病诊断的作品。突出显示了重要的融合质量评估指标，用于对 MMIF 方法进行基准测试。总之，研究人员可以选择最佳融合技术和数据集来对他们的结果进行基准测试，并进一步开发合适的模型来诊断疾病和分析医学成像中的不同模式。然而，MMIF 的一些现有挑战与合成融合图像中的错误配准和伪影有关。这些问题可以通过增加对多模态融合领域的了解并改进对单一模态无法检测到的最新疾病的诊断来解决。

8.1 Advantages and drawback of previous techniques

这项工作涵盖了各种多模态医学融合技术。研究发现，空间图像融合方法在现实世界的应用中是无效的。例如，PCA、色调强度饱和度和Brovey技术的计算效率高，速度快，而且简单，然而它们会导致照度变化。使用主成分分析来融合图像提供了空间上的好处，但却受到光谱恶化的影响。虽然频域方法减少了光谱失真，并能比标准融合方法表现得更好，但它们的信噪比比基于像素级的方法要高。增强的结果可以通过多级融合来实现，其中图像使用适当的融合技术进行两次融合。由于这个过程，融合后的图像可能具有较低的空间分辨率。这种融合算法比像素级技术更复杂。在文献中，混合融合技术可以提高融合图像的清晰度、对比度、纹理、亮度和边缘信息。这种技术还可以实现输入图像的信息互补，减少伪影。然而，为了改进混合融合算法，仍然需要对每一种方法进行透彻的理解，产生非均匀的融合结果，而且这些技术通常是困难和耗时的。混合融合技术的另一个挑战是不应该使用大型输入数据集。在稀疏表示法中，系数是提高融合性能的最重要参数。通过增强图像的对比度和保留视觉信息，可以保留图像结构的信息和源图像的高水平细节。然而，这种技术存在注册错误的问题，包括最小的细节保留能力。深度学习技术可以使优化图像融合过程变得更容易，并且可以根据应用的要求进行定制。当有大量具有多个维度和种类的输入数据时，深度学习方法优于其他融合技术。然而，这些方法基于一个有许多参数的动态过程，训练融合模型需要比其他技术更多的努力和硬件。深度学习方法的另一个缺陷是，对于较小的图像数据集，无法产生可靠的结果。

8.2 Future direction

尽管研究人员提出了几种图像融合算法，但这些方法甚至存在一定的缺陷。具体的高级 MMIF 技术和新的图像融合指标的实现仍然需要当前的研究。考虑到上述不足，未来可能的研究方向如下：

• 考虑到缺乏适当的图像表示方法和公认的融合评估标准，研究图像融合技术的有效性，特别是随着机器学习和深度学习的进步。

• 在融合过程之前实施进化方法以增强感兴趣的图像区域是另一个值得关注的领域。

• 为多模态图像融合开发创新的多尺度分解算法。

• 由于大多数图像融合问题缺乏准确的ground truth，评估融合输出的质量极具挑战性，我们需要开发具有更强描述能力的无参考指标。

• 提高最终融合输出的图像质量，以管理成像模式的局限性和过多的噪声

• 针对每种医学成像模态中缺乏足够信息、图像噪声、大量计算成本以及多种模态中图像之间的尺寸差异确定解决方案。

• 收集或构建在各种临床辅助诊断中可能被认为值得信赖的数据集（例如眼睛、喉部和其他文献中未涉及的评估融合方法的身体器官）的挑战是该主题的未来研究之一。根据当前的评论，只有来自哈佛的大脑成像数据在该领域的其他领域占主导地位。