[深度学习论文学习笔记]多模态融合的深度学习脑肿瘤检测方法

多模态融合的深度学习脑肿瘤检测方法
论文：http://www.photon.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=22355

• 摘要：针对目前传统方法脑肿瘤检测准确率低的问题，提出一种基于深度学习的三维脑肿瘤检测方法.首先将不同模态的脑肿瘤磁共振成像影像进行融合，获取不同模态下的脑肿瘤病灶三维空间特征；然后在卷积层和池化层之间增加实列归一化层，提高网络的收敛速度，缓解过拟合的问题；并对损失函数进行改进，采用加权损失函数加强对病灶区域的特征学习；最后结合后处理方法解决假阳脑肿瘤病灶多的问题.实验结果表明：提出的脑肿瘤检测方法可有效进行肿瘤病灶定位；相关性系数、敏感性和特异性三种评价指标分别达到了0.926 7、0.928 1和0.9977，与二维检测网络相比，提高了4.6%、3.96%和0.04%，较初始的单模态脑肿瘤检测方法提升了13.2%、10.42%和0.12%.

1. 提出问题：
   脑肿瘤MRI所采用的是三维多波段成像技术，与胸部X光扫描等二维影像相比，三维多波段MRI可提供病灶区域的坐标位值，辅助医生准确定位病灶区域.脑部MRI成像可根据成像的辅助条件差异分为四种模态：T1加权模态、T1ce模态、T2加权模态以及Flair模态，不同的模态能够显示不同的脑肿瘤特征。现有的脑肿瘤检测方法和基于深度学习的方法普遍存在以下问题：
   1)方法单一，准确率低，无法为临床医生提供有价值的病灶信息；
   2)对人工干预、数据预处理等方面依赖性强；
   3)大多基于单一模态进行处理，没有高效利用不同模态的MRI数据.

方法原理：
实现脑部MRI影像中的肿瘤病灶区域的检测，采用端到端的网络进行训练和测试.脑肿瘤检测网络整体分为两个阶段：训练阶段和测试阶段.多模态融合脑肿瘤检测流程如图 1所示：

图 1 多模态融合脑肿瘤检测流程

在训练阶段中，首先将多模态的MRI脑肿瘤影像进行融合作为训练数据，并对训练数据进行预处理，然后送入到构建的脑肿瘤检测模型中进行训练，根据模型输出的病灶定位结果与金标准计算误差值loss，如果误差值满足预先设置的条件则停止训练，否则继续训练网络.在训练阶段中，将待检测的样本进行预处理，送入到训练完成的脑肿瘤检测模型中进行检测，并对检测结果进行后处理，最后输出脑肿瘤的病灶定位结果.

多模态融合：

脑肿瘤检测网络：

图 2 脑肿瘤检测网络示意图

整个网络分为收缩路径和扩张路径两个部分：收缩路径的目的为特征提取，由输入层、三维卷积、实例正则化、三维最大池化构成；扩张路径的目的为特征提取和扩大特征图的尺寸，由三维上采样、特征级联以及输出层构成.脑肿瘤检测网络参数设置为：初始化学习率为0.000 1，训练和验证过程的批处理样本数均为1，优化器为Adam，权值初始化方式为Golort_normal，激活函数为ReLU，收缩路径和膨胀路径的网络深度均为5.

三维卷积神经网络：
若采用二维卷积神经网络进行特征提取，则无法充分利用三维MRI脑肿瘤数据，为高效利用病灶的立体三维信息，采用三维卷积神经网络进行特征提取.图 3为传统的二维卷积神经网络的结构示意图，主要由卷积层、池化层以及全连接层构成，可以看出网络处理的数据均为二维格式.

图 3 二维卷积神经网络结构示意图

三维卷积神经网络与二维卷积神经网络原理类似，不同之处在于：三维卷积神经网络是在三维数据上进行卷积操作，卷积核及网络数据输出的数据均为三维格式.三维卷积的示意图如图 4所示.

图 4 三维卷积示意图

实例归一化：
在深度神经网络中，网络的层数较深，不同层之间的神经元相互影响.若在网络的某一层数据发生抖动偏移，随着网络的加深数据抖动的问题会愈加强烈，从而影响模型的训练优化过程，归一化可有效缓解数据震荡的问题.目前常用的数据归一化方法有批量归一化(Batch Normalization, BN)、全局归一化(Group Normalization, GN)、权值归一化(Weight Normalization, WN)以及实例归一化(Instance Normalization, IN)等.在本实验中训练集和测试集的batch大小均设置为1，而BN、LN和WN均是针对于batch值较大的情况，而IN能够处理batch值较小的情况，因此采用IN对脑肿瘤数据进行归一化处理，在解决数据抖动的同时加快脑肿瘤检测网络的收敛速度.IN方法的示意图如图 5所示.

图 5 实列归一化方法示意图

图 5从N看过去是一幅幅脑肿瘤图片，从C方向看过去是脑肿瘤特征图的像素点.每11个竖着排列的小正方体组成的长方体代表一幅脑肿瘤图片的一个特征图.深色方块是一起进行归一化的部分，由此可以很清楚地看出IN是指单张脑肿瘤图片的单个通道单独进行归一化操作.

构建损失函数：
在脑肿瘤检测网络最后的输出层，输出与输入脑肿瘤数据维度相同的脑肿瘤分类概率图，表示每一个体素点是否为脑肿瘤的概率.脑肿瘤检测网络是通过损失函数来计算输出值和标签值之间的误差值，根据误差值来进行网络的反向参数修正，以获得脑肿瘤检测网络最佳的权值和偏置值.在自然图像的目标检测和目标分割任务中，常用的损失函数为Dice_loss，其计算公式为：

在三维MRI脑肿瘤影像中，由于医学影像具有特殊性，与自然图像相比，在整幅脑肿瘤影像中，脑肿瘤病灶区域占比较小，非病灶区域的占比更大.若采用传统的Dice相关性系数作为损失函数，在网络训练过程中，导致网络趋向于对非脑肿瘤病灶区域的特征学习，无法有效提取脑肿瘤病灶区域的特征，从而造成误检和漏检的情况.因此为了提高网络对脑肿瘤区域的学习能力，对传统的Dice_loss损失函数进行了改进，改进后的损失函数计算公式为：

从式(9)可知，由于gi部分对应的是脑肿瘤病灶区域，采用对gi部分进行权值加权，将预测结果和金标准在损失函数中的占比分为1：3.通过加权的方法，损失函数对金标准分配的损失系数更大，能够加强网络对脑肿瘤病灶区域的特征学习，弱化网络对非肿瘤区域的损失值分配，减小了脑部MRI背景影像对病灶区域特征学习的干扰，从而提高网络的检测准确率.

后处理：
通过对后续的脑肿瘤检测网络输出结果进行可视化分析，可以得出最终输出结果图上假阳性脑肿瘤病灶较多的结论，且这些病灶具有不连续、体积小的特征.为改善最终结果，抑制假阳病灶，提高检测精度，结合预先给定的金标准对检测结果进行后处理.通过对金标准分析可知，脑肿瘤的病灶区域均大于150个体素点，因此若检测到的肿瘤区域小于150个体素点，则表明此类区域为假阳病灶，可将此类病灶区域采用形态学的方法进行排除.在经过后处理后，输出最终的脑肿瘤病灶检测结果.

实验结果与分析：
实验采用的数据集来源于MICCAI BraTS 2018多模态脑肿瘤分割比赛，数据集中包含285例脑肿瘤患者的MRI脑部影像，其中高级别脑肿瘤患者210例，低级别脑肿瘤患者75例，训练样本和测试样本的比例为4：1.每一例患者的MRI影像都有T1加权、T1ce、T2加权以及Flair四种模态，每个模态的MRI影像数据尺寸均为240×240×155，每一例患者脑部肿瘤所对应的金标准GT均由多名专家联合标注.

由于医学图像获取来源有限，因此在现有数据集的基础之上进行样本增广.首先将尺寸为240×240的图片进行裁剪，只保留含有脑部的区域，去除周围的“0”值像素点；然后再采用最邻近插值法[19]对去除背景后脑部图像进行放大，凸显脑部影像特征；最后对处理后的样本进行旋转和镜像翻转.脑肿瘤样本增广方法示意图如图 6所示.

评价标准：

单模态与多模态的检测结果对比：
为验证本文采用的多模态融合方法的有效性，将单模态Flair与多模态融合的MRI影像进行实验对比，将预先分配好的228例样本作为训练样本，57例样本作为测试样本，脑肿瘤检测网络训练集及测试集的网络收敛图如图 7.

图 7 不同模态脑肿瘤检测网络收敛示意图

从图 7可知，单模态脑肿瘤检测网络训练集和测试集的损失值分别为-0.882 6和-0.831，多模态脑肿瘤检测网络的损失值可达到-0.911 5和-0.857 7.与单模态网络相比，多模态网络的损失值更小，训练损失值和测试损失值分别提升了0.028 9和0.026 7，表明多模态脑肿瘤检测网络的性能更佳，但从损失函数的收敛曲线来看，多模态脑肿瘤检测网络存在着过拟合的问题.
图 8为测试集57例样本的评价指标Dice分布图，对比图 8(a)和(b)可知，单模态网络中有4例样本远离集群点，而多模态仅有2例样本远离集群点.

图 8 脑肿瘤测试集Dice分布

表 1为不同模态脑肿瘤检测网络训练集57例样本的三种评价指标量化分析对比.可知，多模态脑肿瘤检测网络的三种评价指标Dice、SN和SE分别提升了4.79%、0.15%和0.06%，从测试集的量化结果表明多模态的脑肿瘤检测方法更佳.

表 1 不同模态脑肿瘤检测三种评价指标对比

实例归一化检测结果对比：
图 9和10分别为结合实例归一化网络收敛示意图和脑肿瘤测试集Dice指标分布图.对比图 7(b)和图 9可知，结合了实列归一化的脑肿瘤检测网络收敛速度更快，训练集和测试集的损失值曲线拟合程度良好，表明实列归一化的方法不仅能够加快网络的收敛速度，同时也缓解了多模态脑肿瘤检测网络中存在的过拟合问题.

图 9 结合实例归一化网络收敛示意图

图 10 脑肿瘤测试集Dice分布

从图 10所展示的脑肿瘤测试集57例病例样本的Dice指标分布可知，与图 8(b)相比，结合了实例归一化的脑肿瘤检测结果最低的Dice值也可达到0.41，较3.2.1节的实验结果最低Dice值提升了约0.4，也仅有两个严重的远离集群点.

从图 11可知，结合实例归一化的方法其脑肿瘤检测网络的三种评价指标Dice、SN和SE可以达到0.881 8、0.893 5和0.996 9，较3.2.1节中的多模态脑肿瘤检测模型，Dice、SN两项指标各提升了3.92%和6.81%，而SE指标降低了0.02%.

图 11 结合实例归一化的脑肿瘤检测模型评价指标

加权损失函数检测结果对比：
为验证改进的加权损失函数的有效性，网络训练的损失函数收敛图和测试集Dice指标分布分别如图 12和13所示.

图 12脑肿瘤检测模型与IN相结合的评价指标图

图 13 脑肿瘤测试集Dice分布

从图 12和13可知，与图 9和10相比，本文采用的加权损失函数进行脑肿瘤检测网络训练，加强了网络对脑肿瘤病灶区域的特征学习，弱化了对非病灶区域的特征表达，网络最终的训练和测试损失值可达到-0.909 4和-0.901 7，最低的Dice值也可达到0.7.

后处理检测结果：
为解决假阳脑肿瘤病灶多的问题，结合病灶特征采用后处理方法进行假阳抑制，经过后处理的脑肿瘤测试集Dice指标分布如图 14所示.

图 14 结合后处理脑肿瘤测试集Dice指标分布

对比图 13和14可知，经过后处理的测试集中仅有3例样本远离集群点，而未经过后处理的有7例样本远离集群点，说明后处理方法切实可行.后处理的脑肿瘤检测可视化结果如图 15所示，可以看出经过后处理的输出结果有效地抑制了非脑肿瘤病灶的假阳区域，经过后处理的检测结果与标注的金标准拟合程度更高.

图 15 结合后处理病灶可视化结果

有无增加后处理方法的测试集脑肿瘤检测其三种评价指标如表 2所示，经过后处理方法的Dice、SN和SE可以达到0.926 7、0.928 1和0.997 7，较未经后处理方法的结果分别提升了0.94%、2.45%和0.13%，进一步验证本文方法的有效性.

表 2 增加后处理后三种评价指标对比

二维与三维检测网络结果对比：
为验证三维卷积神经网络，将二维检测网络与三维检测网络的实验结果进行了对比，图 16为二维检测网络收敛示意图.

图 16 二维检测网络收敛示意图

对比图 16和12可知，三维检测网络的损失函数收敛拟合程度更佳，二维检测网络的训练和测试损失值为-0.875 9及-0.870 7，而三维检测网络可达到-0.909 4和-0.901 7，分别提升了3.35%和3.1%.
脑肿瘤二维检测网络与三维检测网络评价指标对比如表 3所示，与二维检测网络相比，三维检测网络Dice、SN和SE的结果分别提高了4.6%、3.96%和0.04%，证明了三维检测网络的可靠性.

表 3 二维与三维网络评价指标对比

从脑肿瘤测试集中任选3个病例样本进行检测结果可视化分析，图 17~19分别为3个病例中5个序列的检测结果，以及对应序列的脑肿瘤病灶金标准图.

图 17 脑肿瘤病例1结果图

图 18 脑肿瘤病例2结果图

图 19 脑肿瘤病例3结果图

从图 17~19可以看出，设计的多模态脑肿瘤病灶检测方法所得到的检测结果，与金标准拟合程度高，说明该方法可有效检测出MRI脑部影像中脑肿瘤病灶.

结论：
本文提出了一种基于深度学习的三维MRI脑肿瘤检测方法.实验结果表明所采用的Dice、SN和SE三种评价指标分别达到了0.926 7、0.928 1和0.997 7，较二维脑肿瘤检测网络分别提高了4.6%、3.96%和0.04%，较原始的单模态脑肿瘤检测方法分别提升了13.2%、10.42%和0.12%.所采用的实例正则化、后处理等方法有效地加快了网络收敛速度，解决了过拟合和假阳病灶的问题，但此方法仍存在肿瘤区域和非肿瘤区域边界像素点分类精度不高的问题.由于Dice指标是基于像素点的评价指标，因此导致其值不高.后续将重点研究如何将边界区域的体素点进行细化，进一步提高脑肿瘤检测的准确率.