IVD-Net：多模态UNet在MRI中的椎间盘定位和分割

摘要

本文提出了一种多模态磁共振图像中的椎间盘（IVD）定位和分割体系结构，它扩展了UNet。与单一的图像相比，多模态的数据带来了互补的信息有助于更好的数据表示和判别能力。

在本文中，每种MRI模态的数据都以不同的路径进行处理，以更好的利用每个模态独特的信息，第二在每条路径和不同路径之间都紧密连接，使模型能够自由的学习应该在哪里以及如何处理和组合不同的模式。第三，对标准的UNet进行了修改，将初始模块扩展为两个具有不同规模的扩张卷积的卷积块这有助于处理多尺度上下文特征。

Introduction

CNN中的多模态分割通常采用早期的融合策略，其中从低级特征的原始空间中合并多个模态，通过在网络输入处连接图像模态，假设不同模态之间的关系是最简单的（例如：线性）为了更好的解释多模态数据的复杂性，其他的研究研究了后期融合策略，其中每一个模态由一个独立的CNN处理，多模态输出合并在深层进行。早期融合策略和晚期融合策略的对比图如下：

本文提出了一种多路径架构，称为IVD-Net，其中每种模态都被用作一条路径的输入，层与层之间、路径内部和路径之间使用密集连接(图1，右)。此外，我们扩展了InceptionNet[2]的标准卷积模块，包括两个额外的扩展卷积块，这可以帮助学习更大的上下文。

 方法

IVD-Net遵循经典的UNet网络结构，这个著名的模型由两条路径组成:一条收缩，一条扩张。前者将输入图像折叠成一组高级特征，形成输入的紧凑中间表示，后者使用这些特征来生成像素级分割掩码。此外，它还包括跳跃式连接，它将浅层的输出连接到后续层的输入，目的是传输在压缩过程中可能在编码路径中丢失的信息。

分别处理多种模态

为了充分利用多模态数据，在本文中采用了超密集连接方法。首先创建了一个由多个流组成的编码路径，每个流处理不同的图像模态。为不同的模态使用使用单独的流的主要目标是将信息从早期阶段融合出来，以捕获不同模态之间的复杂关系，所提出的IVD-Net的网络结构如下图所示

扩展初始模块

 为了便于学习多个上下文，在初始模块中包含了两个与现有块并行的扩展卷积块，这些块的膨胀因子是不同的，这有助于从不同的感受野学习，从而增加原始初始模块的上下文。此外在这个体系结构中删除了最大池化。扩张卷积能够更好的捕捉上下文信息，扩展初始模块如下图所示：

超密集连接 

使用超密集连接的好处在于首先，多个流之间的密集连接可以更好的模拟不同模态之间的关系。其次通过使用各层之间的直接连接，促进了整个网络的信息流和梯度，这缓解了梯度消失的问题。第三，在网络中包含到所有特征的短路径，引入了一种隐式的深度监督。第四，密集连接具有正则化效应降低了网络模型过拟合的风险。

评价指标

第一个评价指标用于评估分割精度，第二个评价指标用于测量定位误差

使用Dice相似性系数评估性能，DSC根据重叠量进行比较，其用公式表示为

Local Distance用来评估定位误差，计算了groundTruth和预测的三维中心，并测量了它们之间的欧几里得距离

总结 

我们提出了一种称为IVD-Net的架构，可以有效地利用来自多种图像形式的信息进行椎间盘分割。根据最近对多模态图像分割[1]，[23]的研究，我们的架构在编码部分采用多条路径之间的密集连接，每条路径处理单一模态。具体来说，任何流中的卷积层都接收同一流中所有先前层以及其他流的特征映射作为输入