Hi-Net:用于多模态MR图像合成的混合融合网络

Hi-Net: Hybrid-Fusion Network for Multi-Modal MR Image Synthesis

  • Hi-Net:用于多模态MR图像合成的混合融合网络
    • 背景
    • 贡献
    • 实验
    • 方法
      • the modality-specific network(模态特定网络)
      • multi-modal fusion network
      • multi-modal synthesis network
    • 损失函数
    • Thinking

Hi-Net:用于多模态MR图像合成的混合融合网络

IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 39, NO. 9, SEPTEMBER 2020

背景

磁共振成像(MRI)是一种广泛使用的神经成像技术,可以提供不同对比度(即模态)的图像。事实证明,在许多任务中,融合这些多模态数据对于提高模型性能特别有效。然而,由于数据质量差和患者频繁辍学,为每位患者收集所有模式仍然是一项挑战。医学图像合成已被提出作为一种有效的解决方案,其中任何缺失的模态都是从现有模态合成的。

贡献

首先学习特定于模态的网络,以从每个单独的模态捕获信息。该网络被形成为自动编码器,以有效地学习高级特征表示。然后,提出了一种融合网络来利用多种模态之间的相关性。我们还提出了一种分层多模态融合策略,该策略可以有效地利用不同特征层之间的相关性。此外,还提出了一种MFB来自适应地加权不同的融合策略(即元素求和、乘积和最大化)。最后,我们的Hi-Net将模态特定网络和融合网络相结合,以学习各种模态的潜在表示,并用于生成目标图像

  • 主要贡献如下与大多数现有的单模态合成方法不同,提出了一种新的医学图像合成框架,该框架使用多个模态来合成目标模态图像。
  • 通过特定模态网络捕获单个模态特征,并使用分层多模态融合策略利用多模态之间的相关性,有效地集成多模态多级表示。
  • 提出了一种新的MFB模块,对不同的融合策略进行自适应加权,有效地提高了融合性能。本文的其余部分组织如下。我们在第二节介绍相关工作。然后,我们在第三节中描述了我们用于医学图像合成的Hi-Net的框架。我们在第四节中进一步介绍了实验结果和讨论

实验

数据集:BraTs2018,裁剪到160x180,还评估了在缺血性中风病变分割挑战2015(ISLES2015)数据集上使用T1和Flair图像合成T2模态图像的性能[49]
Hi-Net:用于多模态MR图像合成的混合融合网络_第1张图片
Hi-Net:用于多模态MR图像合成的混合融合网络_第2张图片
消融实验:
(1) We use the “ConcateFusion” strategy both in the fusion network and generator network, denoted as “Oursdegraded1”;
(2) We use MFB modules in the fusion network and the “ConcateFusion” in the generator network, denoted as “Ours-degraded2”;
(3) We use the “ConcateFusion” in the fusion network and MFB modules in the generator network, denoted as “Ours-degraded3”
Hi-Net:用于多模态MR图像合成的混合融合网络_第3张图片
Hi-Net:用于多模态MR图像合成的混合融合网络_第4张图片

方法

Hi-Net:用于多模态MR图像合成的混合融合网络_第5张图片

the modality-specific network(模态特定网络)

在多模态学习中,来自多模态的互补信息相关性有望提高学习成绩。因此,至关重要的是要利用多种模态之间的潜在相关性,同时还要捕获模态特定信息以保留其属性。为了实现这一目标,我们首先为每个单独的模态(例如,xi)构建一个模态特定网络

multi-modal fusion network

在多模态融合任务中,流行的策略包括逐元素求和、逐元素乘积和逐元素最大化。然而,目前还不清楚哪一种最适合不同的任务。因此,为了从每种策略的优势中获益,我们同时使用所有三种融合策略,然后将它们连接起来。然后,添加卷积层以自适应地对三个融合进行加权
可以使用低级和高级特征来利用多个模态之间的相关性
Hi-Net:用于多模态MR图像合成的混合融合网络_第6张图片

multi-modal synthesis network

判别器模型
Hi-Net:用于多模态MR图像合成的混合融合网络_第7张图片

损失函数

重建损失:
在这里插入图片描述
对抗损失:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总损失:
在这里插入图片描述

Thinking

提取多个模态的特征,合成某一缺失模态,效果好于单模态生成缺失模态
MFB融合,自适应调整逐元素加、逐元素乘、最大之间的融合效果
实验充分,消融实验丰富,单纯拼接、MFF融合、早期融合、后期融合

你可能感兴趣的:(生成对抗网络,网络,人工智能,计算机视觉,深度学习)