DFP-ResUNet:Convolutional Neural Network with a Dilated Convolutional Feature Pyramid for Multimo...

论文：Computer Methods and Programs in Biomedicine 2020

数据集：BraTS 2019

1. Introduction

脑肿瘤由不受控制的细胞增殖引起的组织组成，在大脑中没有生理功能[1].胶质母细胞瘤是最致命的胶质瘤，占所有弥漫性胶质瘤诊断的70-75%，中位总生存时间为14-17个月[2]。它可分为低级别（LGG）和高级别胶质瘤（HGG）。因此，它是制定合适的治疗方案的关键阶段，以提高患者的生活质量。磁共振成像（MRI）是一种流行的技术，可以提供有价值的解剖学信息[3]。医学图像包含四种MRI模式：流体衰减反转恢复（Flair）、T1加权（T1）、T1加权对比增强（T1-ce）以及每个病人的T2加权（T2）[4] 。脑瘤分割将三个不同的脑瘤亚区，即全瘤（WT）区、瘤核（TC）区和增强瘤核（ET）区，与正常组织分开[5]。放射科医生手动分割脑肿瘤很耗时，而且受主观因素的影响[6]。因此，研究半自动或全自动的脑肿瘤分割对脑肿瘤和正常组织的定量分析和评价具有重要意义[7]。

自2015年以来，U-Net[8]在医学图像分割领域得到了广泛的应用。目前，许多新的卷积神经网络设计方法继续使用UNet的核心思想，增加了新的模块或融入了其他设计理念。例如，Aboelenein等人提出了一个混合双轨UNet（HTTU-Net）神经网络来实现脑肿瘤的分割。这个网络被分为两条路径。一条路径用于关注肿瘤的形状和大小，另一条路径用于捕捉背景信息[10]。此外，Wang等人提出了一个用于生物医学图像分割的非局部U-Net，它集成了残差块和全局聚合块。该网络的推理速度比其他网络快，精度高，参数少[11]。

增加网络层数是提高网络性能的一种流行方法。网络层数越深，消失梯度的情况就越严重。为了减少梯度消失的问题，有人提出了残差模块[12]。Abdelaziz Ismael等人提出使用残差神经网络对MRI图像中的脑瘤进行分类。最后，他们获得了99%的最高准确率，超过了以前在同一数据集上的其他工作[13]。Han等人使用深度残差网络和空间变换器预测了骨骼的年龄。通过基于特征提取的深度残差网络，基于图像的骨龄评估的准确性得到了进一步提高[14]。

为了获取全局特征信息，Zhao等人提出了PSPNet，该网络通过基于不同区域的上下文聚合来开发全局上下文信息的功能[15]。空间金字塔网络可以利用不同扩张率和多个感受野的过滤器或集合操作检测输入特征，然后对多尺度的上下文信息进行编码[16]。Nuechterlein等人提出了3D-ESPNet，将ESPNet[17]扩展到三维脑瘤分割任务中[18]。Zhou等人提出了AFPNet，它使用一个三维反演特征金字塔来提取上下文特征，并使用三维条件随机场（CRF）对分割结果进行后处理[19]。Ni等人提出了一个全局上下文网络来分割医学图像。对于特征编码，他们使用了多个卷积和批量规范化层来提取特征。此外，他们在解码模块中加入了一个全局上下文注意（GCA）块和一个挤压和激发金字塔池（SEPP）块[20]。

在U-Net在医学图像中强大的分割精度的驱动下，像素级的分割任务取得了很大的进展。但我们发现，传统的U-Net没有提取图像的多尺度特征信息的操作。换句话说，U-Net缺乏一个合适的策略来利用全局场景特征。全局金字塔集合模型可以解决这个问题，通过金字塔集合模型中的不同层次实现不同大小的特征图。这些不同层次的特征有助于提高分割的准确性。本文主要是利用深度神经网络对多模态MRI中的不同脑瘤亚区（水肿、坏死、增强和非增强的肿瘤核心，见图1）进行自动分割。

我们提出了一个神经网络模型，由具有编码和解码结构的U-Net与残差模块，以及基于扩张卷积的特征金字塔模块（DFP）组成[21]，即DFP-ResUNet。DFP-ResUNet的主要贡献如下：

1)我们使用一个步长为2的卷积层进行下采样，避免了图像信息的丢失。此外，我们在网络中整合了一个残差模块，可以在很大程度上消除由于网络结构加深而导致梯度消失和爆炸的问题。

2)为了提取MRI图像的多尺度信息，我们提出了一个DFP模块。该模块由多个并行膨胀的卷积层组成。扩张的卷积层可以扩展卷积层的感受场，这意味着卷积层可以更好地提取图像不同位置的特征。

3)针对脑肿瘤图像中的类不平衡现象，提出了一种考虑脑肿瘤图像中各类的权重信息的多类骰子损失函数。能充分抑制级失衡对脑肿瘤分割的影响。