【论文阅读笔记】A literature survey of MR-based brain tumor segmentation with missing modalities

Zhou T, Ruan S, Hu H. A literature survey of MR-based brain tumor segmentation with missing modalities[J]. Computerized Medical Imaging and Graphics, 2023, 104: 102167.

这篇文献综述重点探讨了在磁共振成像（MRI）用于脑肿瘤分割时面临的一项主要挑战：部分MRI模态的缺失（本文将范围限定为在训练期间可以使用完整的 MR 模式，而在测试期间可以缺少一种或多种模式）。文中详细分析了各种先进的分割技术，如基于图像合成、潜在特征空间、多源相关性、知识蒸馏和域适应等方法，这些方法旨在克服在实际临床场景中常见的模态缺失问题。综述不仅比较了这些方法的原理、优缺点和适用性，还讨论了用于评估这些技术的不同数据集和评估指标。文章最后强调了在缺失模态下脑肿瘤分割领域的未来研究方向，突出了开发能有效处理MRI模态缺失的创新方法的重要性。

文献调研范围：2022.3.1前

【1.引言】

第一章“引言”部分详细讨论了脑肿瘤及其对健康的影响，以及磁共振成像（MRI）在诊断过程中的重要性。文中指出脑肿瘤是一种严重的生命威胁性疾病，每年在美国有大约13,000名患者死于脑肿瘤。诊断和标准治疗后的平均总生存时间只有15至17个月。脑肿瘤的治疗费用昂贵，平均费用为2788美元。因此，准确诊断脑肿瘤在规划手术和治疗中起着至关重要的作用，可能会延长患者的生存时间。

MRI作为一种广泛使用的医学成像技术，能够展示身体的解剖结构和生理过程，特别是脑血管解剖和脊髓。MRI提供了一种诊断脑肿瘤的有效方式，因其软组织对比度高和广泛的可用性。MRI有多种模态，如流体衰减反转恢复（FLAIR）、T2加权成像（T2）、T1加权成像（T1）和带对比增强的T1加权成像（T1c），这些不同的模态可以提供互补信息，帮助区分脑肿瘤和正常脑组织。然而，在临床实践中，由于采集协议、图像损坏、扫描仪可用性、扫描成本或对某些对比材料的过敏反应，某些MRI模态常常缺失。这对医生和自动化诊断系统构成挑战，因为由缺失模态提供的互补信息无法获取

【2.生物医学背景回顾】

本文的第二章“生物医学背景回顾”包含三个主要部分：脑肿瘤、磁共振成像（MRI）和脑肿瘤分割。

2.1 脑肿瘤

• 脑肿瘤是脑部异常细胞的癌性或非癌性生长。它们是最具侵袭性的癌症之一，严重威胁患者的生命和健康。
• 世界卫生组织（WHO）将脑肿瘤分为I级（最不恶性）到IV级（最恶性）。其中，I级和II级为良性（低级别）脑肿瘤；III级和IV级为恶性（高级别）脑肿瘤。良性肿瘤占29.7%，恶性肿瘤占70.3%。
• 恶性肿瘤中，最常见的是胶质母细胞瘤（占48.6%），它发展迅速，可迅速导致死亡。
• 脑肿瘤可分为原发性肿瘤和继发性肿瘤（脑转移性肿瘤）。原发性肿瘤起源于脑内（如脑膜、脑细胞、神经细胞和腺体），而继发性肿瘤起源于其他部位的癌症并转移到脑部。

2.2 磁共振成像

• MRI是一种常用的医学成像技术，用于医学诊断和治疗监测。MRI扫描仪本质上是一个巨大的磁铁，磁铁的强度以特斯拉（T）为单位。医院和医学研究诊所中使用的MRI扫描仪通常为1.5T或3T。
• MRI对诊断脑肿瘤非常有用，原因包括：它能提供比计算机断层扫描（CT）更精确和详细的软组织图像；是一种无创成像技术；作为一种多模态成像技术，能够根据横向松弛时间和纵向松弛时间的差异展示不同组织之间的各种对比度。
• 临床实践中最常用的MR模态包括流体衰减反转恢复（FLAIR）、T2加权成像（T2）、T1加权成像（T1）和带对比增强的T1加权成像（T1c）。

2.3 脑肿瘤分割

• 基于MR的脑肿瘤分割是临床实践中的一个基本步骤，应用于神经学领域，如定量分析、手术规划和功能成像。近年来，关于脑肿瘤分割的研究论文数量不断增加，表明这一领域越来越受到关注。
• MR脑肿瘤分割在真实临床场景中始终是一项艰巨的任务，因为脑肿瘤的特性和脑解剖结构因人而异，且肿瘤非常异质性。
• MRI的局限性也给脑肿瘤分割带来挑战，例如MRI的低对比度导致肿瘤边界不清晰，MR图像包含由于不同扫描仪造成的各种伪影，如不规则性、像素变化和不均匀性。设计一种有效的方法来融合不同MR模态以最大限度地利用多源信息也具有挑战性。缺少一个或多个MR模态可能会大大降低与完整模态相比的分割精度。
• 在基于深度学习的脑肿瘤分割中，存在一个非常重要的技术限制，即可用数据集的稀缺性。由于深度学习网络需要大量的训练数据，这使得数据集获取更具挑战性。不同医院拥有不同的扫描仪和成像协议，这使得标准化和数据质量复杂化。此外，肿瘤注释是由专家手动勾画的，导致一些内部和外部评价者的变异性。因此，没有绝对的真理，只有金标准。最后，脑肿瘤分割过程通常需要大量时间和计算资源，因此加速分割过程对于获得准确和高效的分割结果至关重要。

【3.State-of-the-art分割方法】

在第三章中，总结了目前的一些分割方法，坐着将这些方法分为五类：

3.1 图像合成方法

图像合成方法是针对MRI脑肿瘤分割中缺失模态问题的一种直观解决方案。它通过先合成缺失的模态，然后利用现有和合成的模态进行脑肿瘤分割。该策略的总体流程如下：

1. 使用特定的图像合成方法生成缺失的模态：这个步骤是通过选择合适的图像合成技术来完成的。合成的目的是模拟缺失的MR模态，从而为后续的肿瘤分割提供完整的数据集。
2. 合成和现有图像的结合进行脑肿瘤分割：在获得合成的模态之后，这些图像与现有的MR模态结合使用，进行脑肿瘤的识别和分割。

在这个范畴中，文献中提到的方法总结如下：

• Jog等人的REPLICA方法：这是一种基于监督随机森林的图像合成方法。它首先提取多尺度特征，然后通过随机森林进行多分辨率分析。最后，将学习到的非线性映射应用于测试图像以合成缺失的模态。REPLICA能够合成T2加权图像和FLAIR图像，对后续的图像分割有益。
• Sharma和Hamarneh的MM-GAN：提出了一种多模态生成对抗网络（MM-GAN）来合成缺失的MR模态。这个网络基于U-Net架构，并采用了PatchGAN架构的鉴别器。它是一个多输入和多输出的架构，能够处理任何组合的可用和缺失模态。
• Islam等人的方法：他们提出使用基于全卷积网络（FCN）的生成器和条件生成对抗网络（cGAN）的修改鉴别器来首先合成缺失的MR模态，然后结合可用和合成的MR模态来实现脑肿瘤分割。
• Zhou等人的方法：为了解决多个模态缺失的问题，他们提出首先生成缺失模态的平均图像，然后将这个合成的模态与现有模态结合，进行脑肿瘤分割。

然而，这种策略的主要缺点是计算成本高，特别是在许多模态（例如三个模态）缺失的情况下。尽管如此，图像合成方法提供了一种有前景的途径来解决MR基础脑肿瘤分割中的模态缺失问题。

3.2 基于潜在特征空间的方法

基本概念：这种方法涉及利用多模态潜在特征空间来检索缺失的信息。过程通常从独立的编码器开始，提取特定于模态的特征表示。然后利用这些特征表示学习共享的潜在特征表示，并最终使用解码器实现脑肿瘤分割。

代表性的方法概述：

• HeMIS (Havaei等，2016年)：为缺失模态设计的早期网络之一，HeMIS采用卷积神经网络（CNN）架构。它通过独立的卷积层（后端层）处理每种模态，通过计算它们的平均值和方差合并获得的特征图（抽象层），然后将这些特征图馈送到前端层以获取输出。这种方法在实验中显示出了良好的效果。
• 统一表示网络（URN）(Lau等，2019年)：这个网络使用了U-Net架构，包括特定于模态的编码器、融合模块和分割解码器。融合模块通过计算平均值将编码器的输出组合成统一表示。网络还可以合成多模态图像，显示出对缺失模态的鲁棒性。
• U-HVED (Dorent等，2019年)：该方法使用多模态变分自编码器来处理缺失模态。它通过高斯积的形式组合模态的均值和方差，并应用跳过连接以捕获更丰富的特征。该方法在BraTS 2018数据集上超越了HeMIS。
• 多模态变分自编码器的扩展（Zhu等，2021年)：受U-HVED启发，该方法将多模态变分自编码器扩展到残差形式，专门解决一个缺失模态的情况。
• 特征解离（Chen等，2019年)：这种新颖的方法将多模态特征解离为特定于模态的外观代码和模态不变的内容代码。通过融合内容代码形成的共享特征表示用于分割，并且必须能够在缺失模态的情况下重建任何模态。这种方法在各种缺失模态情况下表现出竞争性能。

总之，基于潜在特征空间的方法侧重于从不同的MRI模态中提取和合并特征，以补偿缺失的信息，在缺失模态的脑肿瘤分割任务中显示出有效性。

3.3 基于多源相关性的方法

在不同MR模态下，同一肿瘤区域可能被呈现出来。研究者（例如Zhou等人，2021b年）发现，不同MR模态间肿瘤区域的强度分布存在强烈的相关性。因此，他们假设在不同MR模态之间的潜在特征表示中也存在强关联。

这部分主要是对文章作者本人的两篇作品的概述：

• 第一篇：提出的网络首先将四种模态作为每个编码器的输入。这些独立的编码器不仅可以学习特定于模态的特征表示，还可以避免模态之间的错误适应。为了考虑多模态间的强相关性，开发了一个相关模型来发现模态之间的关联。然后，通过注意力机制将不同模态间的关联表示融合起来。
  

• 第二篇是针对第一篇的改进：在第一篇中，作者只是用现有的模态替换了缺失的模态，当缺少更多模态时，这会导致结果不令人满意。此外，它没有考虑估计的相关特征表示和原始特征表示是否相似。因此，为了解决这些问题并进一步提高分割性能，第二篇的方法首先通过基于编码器-解码器的生成器生成缺失模态的平均值，形成新的完整模态。然后，提出了一个相关性模型来探索新的完整模态集的多源相关性。此外，还可以检索丢失的特征表示。最后，应用解码器获得最终的脑肿瘤分割。实验结果验证了所提出的方法与以前的方法和其他最先进的方法相比的有效性。

  

这里因为是介绍作者自己的文章，作者没有指出自己模型的缺点，哈哈

3.4 基于知识蒸馏的方法

知识蒸馏（Hinton等，2015）是一种从复杂模型向简洁模型转移知识的方式，旨在提高紧凑网络的性能。这种方法近年来在研究领域受到越来越多的关注，并广泛应用于图像分类、目标检测和语义分割等领域。

代表性方法概述：

• Hu等人（2020b）的方法：Hu等人提出了一种使用广义知识蒸馏（Lopez-Paz等，2015；Vapnik等，2015）从训练有素的多模态网络（教师）向单模态网络（学生）转移知识的方法。该网络基于两个相同的编解码器网络，一个用于学生，另一个用于教师。教师网络从多个输入模态中学习，而学生网络则只从一个模态中学习。为了约束学生和教师之间的潜在表示相似，学生网络使用了三种不同的损失函数：知识蒸馏损失、基于Kullback-Leibler（KL）散度的损失和参考分割损失。实验结果显示，所提出的学生网络能够有效地从教师网络中学习，并且性能优于基线的单模态网络。

• Vadacchino等人（2021）的方法：Vadacchino等人引入了一个分层对抗性蒸馏网络（HAD-Net），以克服脑肿瘤分割中的模态缺失问题。所提出的网络包括三个主要组成部分：教师网络、学生网络和分层判别器（HD）。教师网络采用所有可用的MRI模态作为输入，而学生网络只使用对比前的MRI模态（排除T1c）来训练模型。HD组件旨在通过将它们的分割及其多尺度特征图映射到一个共同空间，来弥合学生和教师之间的领域差距。然而，类似于Shen和Gao（2019）的工作，这种方法特别关注缺失的T1c模态。实验结果显示了该方法的显著性能和改进。

总之，基于知识蒸馏的方法通过从多模态网络（教师）向单模态网络（学生）转移知识，解决了脑肿瘤分割中的模态缺失问题。该方法通过特定的网络架构和损失函数设计，实现了对缺失模态的有效补偿，提高了单模态网络的分割性能。

3.5 基于域适应的方法

域适应是一种通过利用不同但相关源域中的训练数据来解决目标域学习问题的方法。近年来，域适应方法在许多领域如点云、目标检测、图像分类和语义分割等领域引起了广泛关注。

代表性方法概述：

• Shen和Gao（2019）的方法：Shen和Gao提出了一种域适应方法，以确保模型在缺失模态和完整模态情况下都能生成相似的特征。他们的方法首先在训练期间随机移除一个模态，以增强模型对一个模态缺失的鲁棒性。然后，网络在一个缺失模态的情况下接受训练，同时应用对抗性损失函数，以使目标域（缺失模态）的特征图与源域（完整模态）的特征图适应。

• Wang等人（2021b）的方法：Wang等人提出了一种对抗性共训练网络（Adversarial Co-training Network, ACN），用于对齐完整模态和缺失模态之间的域和特征分布。具体来说，该网络包括一个多模态路径以获取丰富的模态信息，以及一个单模态路径来生成特定于模态的特征表示。然后引入共训练方法，在这两个路径之间建立耦合学习过程。该方法包括三个模块：一个用于匹配两个路径之间分布的熵对抗学习模块（EnA）；一个鼓励特征。

总之，基于域适应的方法通过利用源域和目标域之间的关联性，以及通过特定的网络架构和训练策略，解决了在脑肿瘤分割中的模态缺失问题。这种方法通过对齐完整模态和缺失模态之间的特征分布，提高了模型在缺失模态情况下的分割性能。

3.6 比较分析

本节对前述方法进行比较分析，考虑了它们的原理、架构、优势和局限性。作者指出，使用图像合成技术来补偿缺失的模态是一种直观的解决方案，可以恢复缺失的数据信息。然而，额外的图像合成会增加计算时间和网络复杂度。通常，生成对抗网络（GAN）是图像合成的首选方法。

• **图像合成方法：**图像合成技术来补偿缺失的模态是一种直观的解决方案，可以恢复缺失的数据信息。然而，额外的图像合成会增加计算时间和网络复杂度，训练GAN会面临一些常见问题，如模式崩溃、不收敛、不稳定、对超参数高度敏感等。因此，不稳定的训练会导致合成结果不理想，最终影响分割结果。将合成路径和分割路径结合在同一架构中也具有挑战性。
• 基于潜在特征空间的方法：该方法可以通过计算算术运算（例如均值和方差）轻松实现，或者简单地鼓励来自不同模态的特征在 L1 或 L2 距离下接近。但其局限性在于无法恢复丢失的图像信息。此外，可用模式不足会导致特征恢复不佳，从而导致分割结果不令人满意。
• **基于多源相关性的方法:**利用模态之间的强相关性来补偿缺失的模态，可以指导分割网络学习相关的特征表示以提高分割性能。然而，当大多数模态不存在时，由于特征信息不足，该方法无法保证丢失信息的恢复。此外，如果不结合图像合成路径，丢失的图像信息通常无法恢复。
• **基于知识蒸馏的方法：**从老师那里汲取丰富的知识。了解每种知识的影响并了解不同种类的知识如何以互补的方式相互帮助是至关重要的。例如，来自不同隐藏层的知识可能对学生模型的训练有不同的影响。因此，在统一和互补的框架中提取丰富的知识具有挑战性。 传递教师传授的知识来指导学生的训练。一般来说，需要专用的损失函数或模块来约束学生和教师之间的特征信息相似。
• 基于域适应的方法：该方法的主要问题是减少源域数据和目标域数据的分布差异，因为它会直接影响后续的分割结果。此外，如果不加入额外的图像合成子网络，就无法检索丢失的图像信息。

总的来说，结合不同策略可以从不同方法的优势中获益。例如，基于图像合成的方法可以与其他四种方法（基于潜在特征空间的模型、基于多源相关性的方法、基于知识蒸馏的方法和基于域适应的方法）结合。这样，网络不仅能够恢复缺失的模态，还能实现脑肿瘤分割。然而，应当注意到不希望的效果，例如合并合成路径可以帮助恢复缺失的图像信息，但不稳定的训练和计算成本也需要考虑。

本节最后提到一些脑瘤MRI分割的商用软件：

• 3D Slicer（Kikinis 和 Pieper，2011）提供了一组交互式工具，用于从 MR 图像中快速且可重复地分割脑肿瘤。
• GIST（Cates 等人，2004）是一种基于 GPU 的交互式 3D 医学图像水平集分割工具。
• BraTumIA（脑肿瘤图像分析） 是一款专用于脑肿瘤研究多模态图像分析的软件。它可以使用多模态 MR 图像（T1、T1 对比度、T2 对比度和 FLAIR）实现健康组织和肿瘤组织的分割，包括灰质 (GM)、白质 (WM)、脑脊液 (CSF)、坏死核心、水肿、非强化肿瘤和强化肿瘤。
• BraTS Toolkit（Kofler 等人，2020）可以将最先进的计算方法转化为临床常规和科学实践。

【4.性能分析】

4.1 数据集

• BraTS数据集：BraTS（Brain Tumor Segmentation）挑战数据集是最常用的公共数据集之一（Menze等人，2014年）。它专注于评估最先进的脑肿瘤分割方法，这些方法基于多模态MRI数据。BraTS数据集在临床实践和科学研究中将先进的计算方法转化为常规应用。

• ISLES 2015数据集：ISLES（Ischemic Stroke Lesion Segmentation）2015挑战数据集由两个子挑战组成：亚急性脑卒中病变分割（SISS）和脑卒中灌注估计（SPES）（Maier等人，2017年）。所有MRI序列都被去除颅骨，重新采样到1mm³（SISS）或2mm³（SPES）的等距间距，并分别与FLAIR（SISS）和T1w对比（SPES）序列配准。SISS子数据集包含FLAIR、T2w TSE、T1w TFE/TSE和DWI序列。

• TCGA数据集：TCGA（The Cancer Genome Atlas）数据集是一个多机构综合收集的各种分子特征肿瘤类型的集合（Tomczak等人，2015年；Bakas等人，2017a）。它包含了所有术前多模态MRI的MRI和基因组数据，包括胶质母细胞瘤（TCGA-GBM，n = 262）和低级别胶质瘤（TCGA-LGG，n = 199）的收集，通过放射学评估。该数据集涵盖了胶质瘤亚区域。

  

4.2 评估指标

• 评估指标介绍：在介绍具体评估指标之前，文中给出了以下几个基本术语的定义：

  • TP（True Positive）：预测为脑肿瘤且预测正确。

  • TN（True Negative）：预测不是脑肿瘤且预测正确。

  • FP（False Positive）：预测为脑肿瘤但预测不正确。

  • FN（False Negative）：预测不是脑肿瘤但预测不正确。

• Dice 相似系数（DSC）：用于计算预测结果和真实标注之间的重叠率。DSC的值越高，预测结果越好。

• Jaccard 相似系数：用于衡量两个不同集合的交集与并集之间的比例。较高的Jaccard系数意味着更好的预测结果。

• 精确度（Precision）：用于衡量正确的正结果占所有正结果的百分比。较高的精确度表示更好的预测性能。

• 敏感度（Sensitivity, 又称召回率）：用于衡量正确识别为正的样本占所有应识别为正的样本的百分比。较高的敏感度表示更好的预测性能。

• 特异性（Specificity）：用于衡量正确识别为负的样本占所有应识别为负的样本的百分比。

• Hausdorff 距离（HD）：在预测结果和真实标注的边界之间计算，它是最大分割错误的指标。较小的Hausdorff距离表示更好的预测结果。

4.3 比较分析

首先总结了第3节提到的方法，涵盖了不同数据集、数据维度和网络架构。接着，选取了一些最新的脑肿瘤分割方法，并对这些方法进行了量化分析。为了公平比较，比较了在相同数据集和相同实验设置下训练的方法。大多数方法使用BraTS挑战数据集，因为它提供了大量的多模态数据。在数据维度方面，2D或3D都是可能的选择，这取决于模型的复杂性。具体论文中列举了多个表格，这里不赘述，感兴趣可以查看原文。

【5.未来的方向】

• 数据多样性：在脑肿瘤分割领域，特别是在处理缺失模态的情况下，大多数研究使用BraTS数据集进行实验分析。虽然这个数据集提供了大量的图像数据用于训练、验证和测试，但数据多样性方面仍然存在不足。为了提高数据多样性，作者建议添加临床场景中的基因组信息，这有助于更好地发现肿瘤的模式和特征。这意味着将基因组学数据与传统的医学影像数据相结合，以便更全面地理解和分析肿瘤。
• 数据标注：在医学图像分割中，收集大规模的标注数据是一项艰巨的任务，执行标注工作既耗时又劳动密集，而且成本高昂。因此应该探索更好的数据增强、迁移学习和弱监督及半监督学习方式。
• 不确定性量化：不确定性量化在决策制定中扮演着重要的角色。这一概念被广泛应用于科学和工程领域。在脑肿瘤分割方面，存在两个主要的不确定性来源：（1）图像采集过程中的噪声：这可能导致图像质量下降，增加分割任务的复杂性。（2）专家对肿瘤标注的不一致：在一些模糊不清的情况下，不同的专家可能对肿瘤的标注有不同的意见。因此，仅预测肿瘤的单一分割结果是不够的，需要同时获得肿瘤位置的预测和该预测的置信度，以帮助医生做出最终决策。不确定性量化可以提供关于预测置信度的见解，从而在医疗决策中起到关键作用。
• 模型复杂度：这个是通病，不赘述
• 模型可解释性:这个也是通病，不赘述

【总结】

本文对缺失模式情况下的脑肿瘤分割进行了全面的文献调查，为了实现这一目标，论文首先介绍脑肿瘤的生物医学背景综述、MRI 成像技术以及当前脑肿瘤分割的挑战。然后，提供了最近最先进方法的分类，分为五类：基于图像合成的方法、基于潜在特征空间的模型、基于多源相关性的方法、基于知识蒸馏的方法和领域适应-为基础的方法。论文对这些方法的原理、架构、优点和局限性进行了深入分析。随后，描述了常用的脑肿瘤数据集和评估指标。最后，分析了现有的挑战并提出了前景。