【H-DenseUNet】Hybrid Densely Connected UNet for Liver and tumor Segmentation from CT Volumes

这是一篇针对医学CT图上的而非公共数据集上的语义分割，由题目也可以看出，采用了UNet型结构。

概述

---

• 要解决的问题
  • Liver cancer的CT图诊断
  • 要解决的问题就是2D convolutions不能对CT图的三维信息很好的利用
  • 如果是3D的卷积【各个框架都有实现】，会耗费很大的计算和内存资源
• 采用的方法
  • 提出的bybrid densely connected Unet(H-DenseUnet), end-to-end
• 结果如何
  • 在数据集MICCAI 2017 Liver Tumor Segmentation(LiTS) Challenge 和 3DIRCADb数据集上进行评估，比其他state-of-the-art效果好。
  • 2017LiTS leaderboard第一名，3DIRCADb数据集上结果为state-of-the-art。
• Contributions
  • 在特定的方向上提出了的方法。提出了针一种针对性的CT立体图问题解决方法。
• Related work：
  • 相比于肝(liver)分割，肝肿瘤(liver tumor)分割更加具有挑战性：(1) 肝瘤在不同的病人身体有不同的size, shape,位置，数量。这些问题严重阻碍自动分割；(2) 一些病变没有明显的边界；(3) 许多CT扫描由各向异性尺寸组成，沿z轴变化较大（体素间距在0.45mm至6.0mm之间），这对自动分割方法提出了挑战。【有点不太透彻】
  • 现在的3D与训练模型很少，几乎没有，知识迁移无法做到。
  • 【以下是一些综述】
  • 过去的几十年里，有些多的算法去做肝和肝瘤的图像分割，包括：（1）基于手动设计特征的方法：thresholding, region growing, deformable model based methods and machine learning based methods。（2）基于深度学习的方法

细节

---

• 由三部分组成：2D DenseUnet，3D DenseUnet，HFF(hybrid feature fusion)
  

• Deep 2D DenseUnet for Intra-slice Feature Extraction：
  
  

  • 2D模块为DenseNet-161，如上图第一个蓝块，输入为2D图像（$w\ast h\ast 1$）【这里的二维是指视觉上的，而不是指其具体维度】，具体的DenseNet在图©中显示，在一个Dense block中，每经过一个层后，channels数会增加k（k为growth rate）。
  • 最原始的训练样本的维度是：$Image\in R^{n\ast 224\ast 224\ast 12\ast 1}$，其实就是一个立体三维的图像，标签则是$Y\in R^{n\ast 224\ast 224\ast 12\ast 1}$，n表示batch size，最后一个维度表示channels，所以可以每一个二位切片都是灰度图。标签$Y_{i,j,k}=c$有三类，分别为background / liver / tumor。
  • 使用函数$g$来表示对立体图像进行转换为二维3通道图像：$I_{2d}=g(I_{original})$，其中$I_{original}\in R^{n\ast 224\ast 224\ast 12\ast 1}$,$I_{2d}\in R^{12n\ast 224\ast 224\ast 3}$，这里一个小细节，就是会对原图进行首尾padding，这样才会产生$12n$ batch size，如上面图(b)。这样的$I_{2d}$就是DenseUNet的输入。使用函数$g^{-1}$来表示变换的逆变换。
  • 整个2d计算过程可以如下表示：
    

• H-DenseUnet for Hybrid Feature Exploration：为了更好的捕捉第三维的立体信息。

  • 从2D网络得到的2D结果转换成3D,与原图concat成为3D网络部分的输入：2D网络产生的结果是$y_{2d}^{hat}$，【那个符号打不出来，就用hat代替$y_{2d}$的帽子符号了】。2D网络的输出为$y_{2d}^{hat}\in R^{12n\ast 224\ast 224\ast 3}$，需要经过转换才能被3D网络利用【同时，后面的融合的时候，还利用到了由2D网络产生的feature map $X_{2d}$，看以下公式很明晰】，如下图，最后是$R^{n\ast 224\ast 224\ast 12\ast 3}$，
    
    

• Loss Function, Training and Inference Schemes
  

Results

---

• Training

Params	Values
2D DenseUnet Encoder	DenseNet
2D DenseUnet Decoder	Initialization randomly

• Steps:
  • 最初，训练出一个ResNet来产生一个粗糙的liver segmentation结果。这里的粗糙结果应该是作为ROI(region of interesting)存在。
  • 先训练2D DenseUnet。
  • 之后固定2D DenseUnet的参数，训练3D DenseUnet，融合层，融合层分类部分。
  • 联合训练两个部分，并使用下列Loss，在实验中，$\lambda$设为0.5。
    
• Inference(Test)
  • 在这里，利用上面的ResNet产生的粗糙结果，H-DenseUNet可以得到更加精确的分割结果。

---

Dataset	Values
MICCAI 2017 LiTS Challenge	数据集包含131张以及70张增强对比的3D腹部CT图，分别用于训练和测试，平面分辨率从0.55mm到1.0mm，差异较大，切片间距从0.45mm到6.0mm。
3DIRCADb	数据集包括20个静脉期增强CT扫描，其中15个(那种三维扫描立体图)是在肝脏中由肿瘤的。

评价指标

Params	Values
Metrics of LiTS	Dice per case score & Dice global score to evaluate & RMSE(root mean square error)
Metrics of 3DIRCADb	volumetric overlap(VOE) & relative volume difference(RVD) & average symmetric surface distance(ASD) & root mean square symmetric surface distance(RMSD) & DICE(the same as Dice per case in the LiTS dataset)

科普：from here

• 结果【看看就好】：
  • LiTS
    
  • 3DIRCADb
    

Conclusion

---

看看就好。。。