CANet: Context Aware Network for Brain GliomaSegmentation

论文：IEEE TRANSACTIONS ON MEDICAL IMAGIN 2021

数据集：BraTS 2017，BraTS 2018，BraTS 2019

1. INTRODUCTION

胶质瘤是成人脑瘤中最流行的类型之一，对健康有致命的影响，死亡率很高[1]。为了给早期诊断、手术计划和术后观察提供充分的证据，多模式的磁共振成像（MRI）（如T1、T1对比增强（T1ce）、T2和流体衰减反转恢复（FLAIR））是一种广泛使用的诊断技术，提供可重复的和非侵入性的测量，包括结构、解剖和功能特征。

医学图像分割为医务人员实现疾病诊断、肿瘤生长监测、计划治疗和随访服务提供了基本指导和定量评估[2], [3]。图1显示了脑胶质瘤分割任务的概况。然而，人工分割需要专业的知识，而且往往是耗时和劳动密集型的。以前的脑胶质瘤自动分割方法是基于传统的机器学习算法[4]-[7]，这些算法强烈依赖于手工制作的特征，如纹理[8]和局部直方图[9]。然而，寻找最佳手工制作的特征或最佳特征组合是不切实际的。近年来，深度学习技术，特别是深度卷积神经网络（DCNN），已被部署到有效地从数据中学习高维判别性特征，并广泛用于各种医学成像任务[10]。

类间模糊性是脑胶质瘤分割中的一个常见问题。这个问题使得如果我们只考虑孤立的体素，很难实现精确的密集体素分割，因为不同类别的体素可能有类似的强度值或特征表示。为了解决这个问题，我们旨在通过探索胶质瘤细胞与周围环境的特征交互图来学习它们之间的关系信息。我们在此提出了一个上下文感知网络，即CANet，以实现MRI图像中精确的密集体素-明智的脑胶质瘤分割。我们在这项工作中的贡献总结如下。

• 我们提出了一种新的脑胶质瘤分割方法，通过引入特征交互图推理作为平行的辅助分支来模拟胶质瘤细胞和其周围环境的关系。中间的特征表示被进一步利用，并在一个定制的上下文引导的entive条件随机场（CGA-CRF）框架内进行汇总。据我们所知，这是第一个将生成的特征的关系信息纳入脑胶质瘤分割的实践。
• 我们将所提出的CGA-CRF中推断的均值场近似表述为卷积操作，而CGA-CRF则是作为顺序的深度神经网络层实现的。我们的表述展示了所提出的CGACRF的泛化能力，它可以被无缝嵌入到任何深度神经架构中，以实现端到端的训练。
• 我们进行了广泛的评估，证明我们提出的方法在多模态脑肿瘤图像分割挑战赛（BraTS）数据集，即BraTS2017、BraTS2018和BraTS2019上的不同评估指标下优于几个先进的方法。

2. RELATED WORK

我们在深度神经网络和概率图形模型最近的成功基础上构建了我们新的脑胶质瘤分割方法。下面，我们简要回顾一下相关的方法，将其分为三个子领域，即脑胶质瘤分割、使用条件随机场结合卷积神经网络的语义分割，以及医学图像分析中的图神经网络。

脑胶质瘤的分割。早期关于脑胶质瘤分割的研究工作主要采用传统的机器学习算法，如聚类[6]、随机决策森林[7]、贝叶斯模型[11]和图-切[12]。Shin[6]用稀疏编码生成水肿特征，用K-means对肿瘤体素进行聚类。然而，如何优化编码字典的大小是一个难以解决的问题。Pereira等人[13]使用随机决策森林对体素的标签进行分类，这严重依赖于手工制作的特征和复杂的后处理。Corso等人[11]使用贝叶斯公式，将软模型分配纳入亲和力计算。该方法考虑了多尺度特征的加权聚合，但忽略了不同尺度之间的关系。Wels等人[12]提出了一种基于图形切割的方法来学习用于肿瘤分割的最佳图形表示，从而获得了卓越的性能。然而，这种方法对于密集的分割任务需要延长推理时间，因为其图中顶点的数量与体素的数量成正比。Konukoglu等人[14]和Menze等人[15]将一个基于反应-扩散的生物物理肿瘤生长框架用于胶质瘤分割。前者侧重于在单个时间实例中构建辐照侵袭边缘，而后者侧重于在经度数据上正式确定宏观肿瘤生长模型。然而，这两种方法都需要详细的领域知识来定义参数，这限制了其方法的泛化性能。

在使用DCNN的多模式MRI脑胶质瘤分割方面已经取得了可喜的成就。Zikic等人[16]是最早将DCNN应用于脑胶质瘤分割的工作之一。Havaei等人[17]提出了一种改进的DCNN，使用粘卷积核来提取局部和全局特征。Zhao等人[18]提出了一个改进的全卷积网络（FCN）[19]，用条件随机场作为后处理模块来完善脑胶质瘤的分割。Dong等人[20]提出了一个改良的U-Net[21]用于脑胶质瘤分割。这些先前的工作在从原始三维体积数据生成的二维图像片上使用二维卷积核。使用二维切片的方法减少了所使用的参数的数量，并且需要更少的内存。然而，这个过程也导致了空间背景的缺失。为了最大限度地减少信息损失并利用相邻切片的证据，Lyksborg等人[22]在三个正交的二维斑块上组合了三个二维CNNs。

为了充分利用三维信息，最近的工作将三维卷积核应用于体积数据。Kamnitsas等人[23]提出了一个两路三维DCNN，然后是密集的CRF，用于脑胶质瘤的分割。23]的作者使用模型集合法[24]进一步扩展了这项工作。他们提出的系统EMMA集合了来自全卷积网络（FCN）[19]、U-Net[21]和DeepMedic[25]的模型。为了避免在有限的训练数据集上进行三维立体分割的过拟合问题，Myronenko[26]提出了一个三维DCNN，其中有一个额外的变异自动编码器，通过重建输入图像使解码器正规化。

使用条件随机场和卷积神经网络进行语义分割。脑胶质瘤分割与一般的语义分割一样，都是为了给每个像素分配一个特定的语义标签。在所有传统的机器学习方法中，概率图形模型，特别是条件随机场已被认为是解决语义分割任务的最成功的表示方法之一[29]-[32]。为了以端到端方式学习复杂的单项和配对电位，最近提出的工作集中在使用深度神经网络解决CRF。Zheng等人[33]将CRF的均值场更新表述为一个循环神经网络（RNN）。因此，CRF参数可以通过反向传播进行迭代更新。上述的工作主要有两个缺点。首先，它们中的大多数利用CRF作为后处理组件来完善分割标签，因此不能规范特征学习程序。第二，这些工作大多允许CRF通过鼓励空间一致性来平滑分割图[34]。

与这些工作不同的是，我们提出的CGA-CRF主要用于特征聚合，与网络主干共同训练。此外，我们提出的CGA-CRF考虑了从卷积/交互空间中提取的上下文信息，并且上下文属性可以从学习的注意力机制中产生。