[深度学习论文笔记]Cross-Modality Deep Feature Learning for Brain Tumor Segmentation

Cross-Modality Deep Feature Learning for Brain Tumor Segmentation
跨通道深度特征学习在脑肿瘤分割中的应用
Published : Pattern Recognition 2021
论文：https://arxiv.org/abs/2201.02356
代码：

  机器学习和数字医学图像的流行，为利用深度卷积神经网络解决具有挑战性的脑肿瘤分割(BTS)任务提供了机会。然而，与广泛应用的RGB图像数据不同，用于脑肿瘤分割的医学图像数据在数据尺度上相对匮乏，但在模态属性上包含了更丰富的信息。为此，本文提出了一种新的跨模态深度特征学习框架，用于从多模态MRI数据中分割脑肿瘤。其核心思想是挖掘跨多模态数据的丰富模式，以弥补数据规模的不足。本文提出的跨模态深度特征学习框架包括两个学习过程:跨模态特征转换(CMFT)过程和跨模态特征融合(CMFF)过程，分别通过跨模态数据传递知识和融合来自不同模态数据的知识来学习丰富的特征表示。在BraTS基准上进行了综合实验，结果表明，所提出的跨模态深度特征学习框架与基线方法和最先进的方法相比，能够有效提高脑肿瘤分割性能。
  脑瘤作为一种死亡率最高的流行疾病，其研究受到越来越多的关注。本文研究了一种基于深度学习的神经胶质瘤自动分割方法，即脑肿瘤分割(BTS)。在本任务中，医学图像包含四种MRI模式，分别是T1加权(T1)模式、对比增强T1加权(T1c)模式、T2加权(T2)模式和流体衰减反演恢复(FLAIR)模式。目标是分割三个不同的靶区，分别是整个肿瘤区、肿瘤核心区和增强肿瘤核心区。图1为多模态数据示例及对应的肿瘤区域标签。随着深度学习技术的快速发展，深度卷积神经网络(deep convolutional neural networks, DCNNs)已被引入到医学图像分析领域，并在BTS中得到广泛应用。对于所建立的DCNN模型，现有的脑肿瘤分割方法通常将该任务视为对普通RGB图像数据进行语义分割的多类像素级分类问题。
  但是，由于忽略了医学图像数据与普通RGB图像数据之间的巨大差异，这种方法无法获得最优解。具体来说，这两种数据有两种截然不同的属性:
  1)日常生活中可以通过智能手机或相机获得非常大规模的RGB图像数据。然而，医学图像数据非常稀缺，尤其是相应的手工标注，需要专业知识，往往非常耗时。
  2)医学图像数据(用于被调查的脑肿瘤分割任务和其他任务)与普通的RGB图像数据不同，通常由捕捉不同病理特性的多种MRI模式组成。

  图1:脑肿瘤分割任务的图解。前4个体数据为多模态MR图像数据。全肿瘤区域(WT)、肿瘤核心区域(TC)、增强肿瘤核心区域(WT)，所有类型的肿瘤区域显示在底部一行。没有彩色的区域为正常区域。

  由于上述特点，仍有许多挑战性的问题需要解决。具体来说，由于数据规模不足，DCNN模型的训练可能会遇到过拟合问题，因为DCNN模型通常包含大量的网络参数。这增加了训练脑肿瘤分割所需的DCNN模型的难度。其次，由于数据结构的复杂性，像之前的工作那样直接将多模态数据串接形成网络输入既不是充分利用每个模态数据基础知识的最佳选择，也不是融合多模态数据知识的有效策略。
  为了解决这些问题，本文提出了一种新的跨模态深度特征学习框架来学习从多模态MRI数据中分割脑肿瘤。鉴于医学图像数据在数据尺度上相对匮乏，但在模态属性上包含丰富的信息，作者提出在多模态数据中探索丰富的模式，以弥补数据尺度不足的问题。具体而言，本文提出的跨模态特征学习框架包括两个学习过程:跨模态特征转换(CMFT)过程和跨模态特征融合(CMFF)过程。
  在跨模态特征转换过程中，采用生成式对抗网络学习方案，学习有助于知识跨模态数据转换的有用特征。这使得网络能够从每个模态数据中挖掘有助于脑肿瘤分割任务的内在模式。这个过程背后的直觉是,如果DCNN模型可以运输(或转换)样本从一个模式到另一个形态,它可能捕获的形态模式两种核磁共振方法以及内容模式(如器官类型和位置)的示例,而这些模式有助于脑部肿瘤分割。在跨模态特征融合过程中，构建了一种新的深度神经网络体系结构，利用跨模态特征转换过程中获得的深度特征，对不同模态数据捕获的特征进行深度融合来预测脑肿瘤区域。这不同于现有的脑肿瘤分割方法，也不同于单纯的策略，即1)简单地在输入级实现融合过程，即将多模态图像数据连接起来作为网络输入;2)在输出级实现融合过程，即将多模态图像数据连接起来作为网络输入。整合不同模态数据的分割结果。

  图2:提出的用于脑肿瘤分割的跨模态深度特征学习框架示意图。为了简明扼要，只使用双模态数据来显示学习框架。
  图2简要地展示了本文提出的学习框架，从图中可以看到，在跨模态特征转换过程中，作者构建了两个生成器和两个鉴别器，在两个模态数据之间传递知识。在这里，生成器用于从其他模态数据生成一种模态数据，而鉴别器的目的是区分生成的数据和实际数据。而在跨模态特征融合过程中，作者采用生成器从每个模态数据中预测出脑肿瘤区域，并融合从中学习到的深度特征，得到最终的分割结果。在融合分支中，作者设计了一种新的融合方案，利用单模态预测结果来指导特征融合过程，在融合过程中可以获得更强的特征表征，以辅助分割期望的脑肿瘤区域。

综上所述，本工作主要有以下四方面的贡献:
  1、通过揭示医学图像数据分割任务与普通RGB图像数据分割任务的内在区别，建立了一种新型的脑肿瘤交叉模态深度特征学习框架，该框架包括交叉模态特征转换过程和交叉模态特征融合过程。
  2、提出了一种新颖的思想，从跨不同模态数据的知识转移中学习有用的特征表示。为了实现这一目标，我们构建了一个基于生成对抗网络的学习方案，该方案可以实现跨模态特征转换过程，无需任何人工标注。
  3、为了实现跨模态特征融合过程，提出了一种新的跨模态特征融合方法针对脑肿瘤分割问题，建立了特征融合网络特性是从特性转换过程中学习到的，并被授权使用提出了一种新的融合分支，利用单模态预测结果来指导预测特征融合的过程。
  4、在BraTS基准上进行了综合实验，结果表明，与基线方法和现有方法相比，该方法能有效提高脑肿瘤分割性能。

  图3: 生成器详细架构的说明，其中**IN是标准化(normalization)**的缩写。注意，这也是单模态特性学习分支的架构。这两个网络分支之间的唯一区别是最后的输出层，其中生成器的输出画在实线上，而单模态特征学习分支的输出画在虚线上。深度特征在最后两个卷积层，以及输出的单模态特征学习分支，连接交叉模态特征
  网络架构:在设计生成器时，采用了U-net架构，因为它在图像到图像转换和脑肿瘤分割方面都很有效。考虑到训练样本为3D体，、在网络层采用3D卷积，从而得到3D U-net架构。
  具体的网络结构如图3所示。对于鉴别器，作者按照现有的工作进行构造，使用几个卷积层来获得分类结果。给出了鉴别器的具体网络结构

  表1：鉴别器网络分支的体系结构。在“Input”块中，第一个维度是通道的数量，接下来的三个维度是feature map的大小。卷积是3D卷积的缩写，# filters表示过滤器的数量。注意，提到的模态四元数时，L1的输入通道数为2。

交叉模式特征融合：
  为了实现跨模态特征融合过程，作者建立了一种新的跨模态特征融合网络用于脑肿瘤分割。新设计的融合分支利用单模态预测结果来指导特征融合过程，不仅可以方便地传递从特征转换过程中学习到的特征，而且可以学习到强大的融合特征来分割期望的脑肿瘤区域。

  图4:使用掩模引导特征学习方案的跨模态特征融合分支的示意图，其中IN是例如归一化的缩写。为了便于理解，作者将网络显示在2d convolution-like架构。而实际上在网络层中使用了3D卷积。

实验：
  在BraTS 2017和BraTS 2018基准数据集中，每个患者有四种模式，即T1、T1-c、T2和FLAIR。BraTS 2017基准考试有两个子集:包含285名受试者的训练集和包含46名受试者的验证集。BraTS 2018基准测试在其训练集中包含相同数量的受试者，但在验证集中有66名受试者隐藏了地面真相。在对每个基准进行实验时，作者使用15个训练集来训练脑肿瘤分割模型，同时使用验证集来测试分割的性能。采用BraTS在线评估系统使用的官方指标进行量化评估。它们是Dice评分、敏感性、特异性和Hausdorff距离(HD95)的第95百分位。在训练前，每个输入的模态数据被归一化为零均值和单位方差。在脑肿瘤区域内随机抽取大小为128 128 128的patch作为交叉模态特征转换模型和交叉模态特征融合模型的输入。为了在性能和内存消耗之间进行权衡，设计了U-Net中滤波器的基本数量为16个，每个下采样层后增加到2个。利用初始学习率为10 4的Adam优化器，将λ设置为10，对目标函数进行了优化。在训练跨模态特征融合网络时，将预训练的过渡映射GA B和GB A的参数传递给SA和SB进行进一步的微调。SA和SB采用与GA B和GB a相同的输入模态数据，随机初始化跨模态融合分支的参数。我们使用初始学习率为10**-4和批量规模为1的Adam优化器来训练这个网络分支。所有的网络分支都是在NVIDIA GTX 1080TI GPU上的Pytorch中实现的。整个训练过程共耗时18小时57分钟，测试速度为每位受试者3.2秒。

  图7:在BraTS 2018验证集上，本文提出的方法以及比较的基线方法的分割结果示例。由于无法获得ground-truth分割标注，我们在每个测试样本上标注被分割肿瘤区域的dice分数，而不是显示ground-truth分割标注。WT、TC和ET区域分别用绿色、蓝色和紫色表示

结论：
  在这项工作中，提出了一种新的跨模态深度特征学习框架，用于从多模态磁共振扫描中分割脑肿瘤区域。考虑到用于脑肿瘤分割的医学图像数据在数据尺度上相对匮乏，但在模态属性上包含更丰富的信息，作者提出跨多模态数据挖掘丰富的模式，以弥补数据尺度上的不足。该学习框架由跨模态特征转换(CMFT)过程和跨模态特征融合(CMFF)过程组成。通过构建基于生成式对抗网络的学习方案来实现跨模态特征转换过程，作者的方法能够从跨模态数据的知识转换中学习有用的特征表示，而无需任何人工标注。而跨模态特征融合过程将从特征转换过程中学习到的特征进行转移，并赋予新的融合分支以指导强特征融合过程。在两个brats基准上进行了综合实验，与基准模型和最新方法相比，证明了作者的方法的有效性。据作者所知，这项工作的一个局限性是，目前的学习框架要求模态生成器和分割预测器的网络架构几乎相同。为了解决这一不便，未来一个潜在的方向是引入知识蒸馏机制来取代简单的参数传递过程。