【论文笔记】H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes

H-DenseUNet: 混合密连接UNet，用于从CT中分割肝脏和肿瘤

论文地址：https://ieeexplore.ieee.org/abstract/document/8379359

代码地址：https://github.com/xmengli/H-DenseUNet

背景

肝癌是癌症死亡的主要原因之一。为了协助医生进行肝癌的诊断和治疗规划，在临床实践中对准确、自动化的肝肿瘤分割方法提出了很高的要求。

但自动化分割肝脏和肿瘤存在着以下几个问题：

1. 肝脏和其他邻近器官之间的对比度较低。
2. 肝脏区域图像内的噪声。
3. 肝脏肿瘤在不同病人体内具有不同的大小、形状、位置和数量。
4. 一些病变没有明确的边界，限制了单纯基于边缘的分割方法的性能
5. CT图像沿Z轴方向的变化很大（体素间距从0.45mm到6.0mm不等）

动机

目前主要使用的方法有两种：

1. 2D FCNs，如UNET体系结构、多通道FCN和基于VGG-16的FCN。

2. 3D FCNs，用3D卷积替代2D FCN中的2D卷积

2D卷积不能充分利用三维空间信息，且3D卷积的计算成本较高，占用GPU内存。

为了解决这些问题，文章提出了一种新的混合密集连接UNet (H-DenseUNet)，它包括一个用于高效提取切片内特征的2D DenseUNet和一个对应的3D网络，用于分层聚合3D上下文信息。以端到端方式制定了H-DenseUNet的学习过程，切片间特征可以通过混合特征融合(HFF)层共同优化。

创新点

1. 使用了3D网络，提高了对高层特征提取的能力。
2. 通过2D与3D网络相结合，相较于只使用3D网络，有效降低了计算时间。

贡献

1. 设计了一种DenseUNet来有效地探测肝脏和肿瘤分割的层级切片内特征，融合了密集连接路径和UNet路径的优点，改进的信息流和参数效率降低了对深层网络的训练难度。
2. 设计了一个端到端的训练系统H-DenseUNet，该系统有效地提取了切片内和切片间的特征，并通过混合特征融合(HFF)层进行了联合优化。该混合特征学习结构很好地避免了2D网络忽略体积上下文和3D网络计算代价高的问题，可以作为一种有效利用3D上下文的新范例。

方法

采用级联学习策略来减少总的计算时间

首先，训练一个简单的ResNet体系结构以获得快速但粗略的肝脏分割(图中未画出)。再利用肝脏ROI，使用H-DenseUNet通过2D DenseUNet和3DDenseUNet有效地探测切片内和切片间特征，然后联合优化混合特征融合(HFF)层中的混合特征以实现准确的肝脏和病变分割。

每个3D输入体通过变换过程F被分割成相邻的切片，然后送入2D DenseUNet；与2D网络的预测体连接，3D输入体被送入3D网络学习层间特征；HFF层融合和优化层内和层间特征，以实现准确的肝脏和肿瘤分割。

(a)H-DenseUNet的结构，包括2D DenseUNet和3D对应网络。

(b)体数据到三个相邻切片的转换。

(b)2D DenseUNet的网络结构。橙色块中的结构是微块，k表示生长速率。

用于片内特征提取的深层2D DenseUNet

基于DenseNet-161的结构，每一个块都与它之后的所有块相连，密集连接的路径保证了层与层之间的最大信息流，改善了梯度流，从而减轻了在非常深的神经网络中搜索最优解的负担。

2D DenseUNet继承了密集连接路径和类UNet连接的优点，在每个小块内的层之间采用密集连接以确保最大的信息流，而UNet远程连接编码部分和解码部分以保存低层信息。

将原始3D数据沿z轴每三个相邻的切片堆叠在一起，作为三个channel，堆叠出的组合作为batch维，输入到2D DenseUNet。最后将2D DenseUNet输出数据以相反的方式恢复为3D数据。

用于混合特征探索的H-DenseUNet

将原始的3D图像与经过2D DenseUNet处理恢复成的3D图像连接，通过3D DenseUNet提取具有3D上下文信息的视觉特征。

将2D DenseUNet与3D DenseUNet提取的特征相加后，得到混合特征，在HFF层联合学习和优化混合特征。

存在的问题

1. 对于小肿瘤的分割，效果提升不明显。处理小肝肿瘤问题的几个潜在的方向：多尺度表征结构、深度监督、感知生成对抗网络。
2. 模型的复杂性受到GPU内存的限制，可以使用模型并行训练来训练网络来利用H-DenseUNet的潜在深度。