[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu
论文地址：H-DenseUNet: Hybrid Densely Connected UNet for
Liver and Tumor Segmentation from CT Volumes
这是一篇使用Unet改进进行医学图像分割的论文
对于传统的2DUnet由于只采取单一切片进行训练，只能得到intra-slice特征，无法得到inter-slice特征，对于3DUnet直接将整个3D图像放进去，虽然可以同时得到intra inter -slice特征，但是内存不够用
因此本文提出来使用2D 3Dslice进行融合的方法
![[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu_第1张图片](http://img.e-com-net.com/image/info8/f7d1c2ca461541a5b43d2a812ba2f3b4.jpg)
![[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu_第2张图片](http://img.e-com-net.com/image/info8/582b0b39f16f4352ac8df1c7703c872a.jpg)
1. 感兴趣区域（ROI）提取
先使用resnet进行感兴趣区域提取，也就是得到我们需要分割器官或者肿瘤所在的切片，在本文中是得到12个切片
2. 2D DenseUnet进行intra-slice特征提取
我们使用 I ∈ R n × 224 × 224 × 12 × 1 I \in R^{n \times 224 \times 224 \times 12 \times 1} I∈Rn×224×224×12×1，其中n为batch_size，22424412为input volumes，Ground Truth使用 Y ∈ R n × 224 × 224 × 12 × 1 Y \in R^{n \times 224 \times 224 \times 12 \times 1} Y∈Rn×224×224×12×1表示， Y i , j , k = c Y_{i,j,k}=c Yi,j,k=c表示像素点 ( i , j , k ) (i,j,k) (i,j,k)的类别为c(back ground,liver,tumor)
2D网络输入转换
使用 I 2 d ∈ R 12 n × 224 × 224 × 3 I_{2d} \in R^{12n \times 224 \times 224 \times 3} I2d∈R12n×224×224×3来表示2D网络的输入， I 2 d = F ( I ) I_{2d}=F(I) I2d=F(I)，F为转换函数，转换方式如下图所示
![[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu_第3张图片](http://img.e-com-net.com/image/info8/de63801c033947ebb1f6a5856cc20ad1.jpg)
如上图，原本的I为12层slice，然后在最顶层和最下层分别padding一层，也就是得到14层切片，然后每三层作为一个块，最终将I分别了12块，concat到一起就成了 I 2 d I_{2d} I2d
X 2 d = f 2 d ( I 2 d ; θ 2 d ) , X 2 d ∈ R 12 n × 224 × 224 × 64 X_{2d}=f_{2d}(I_{2d};\theta_{2d}),X_{2d} \in R^{12n \times 224 \times 224 \times 64} X2d=f2d(I2d;θ2d),X2d∈R12n×224×224×64 为2D DenseNet的upsampling layer5的输出
y 2 d ^ = f 2 d c l s ( X 2 d ; θ 2 d c l s ) , y 2 d ^ ∈ R 12 n × 224 × 224 × 3 \hat{y_{2d}}=f_{2dcls}(X_{2d};\theta_{2dcls}),\hat{y_{2d}} \in R^{12n \times 224 \times 224 \times 3} y2d^=f2dcls(X2d;θ2dcls),y2d^∈R12n×224×224×3为2D DenseNet的输出
3. 3D DenseUnet进行inter-slice特征提取
3D DenseUnet网络的输出为2D DenseUnet网络得到的分割图 y 2 d ^ \hat{y_{2d}} y2d^的转换
的转换 y 2 d ^ ′ \hat{y_{2d}}' y2d^′并与原始图像 I I I的concate ( I , y 2 d ^ ′ ) (I,\hat{y_{2d}}') (I,y2d^′)其中
y 2 d ^ ′ = F − 1 ( y 2 d ^ ) , y 2 d ^ ′ ∈ R n × 224 × 224 × 12 × 3 \hat{y_{2d}}'=F^{-1}(\hat{y_{2d}}),\hat{y_{2d}}' \in R^{n \times 224 \times 224 \times 12 \times 3} y2d^′=F−1(y2d^),y2d^′∈Rn×224×224×12×3
4.使用hybrid feature fusion (HFF) layer进行2D 3D特征融合
特征融合层输入为 Z = X 3 d + X 2 d ′ Z=X_{3d}+X_{2d}' Z=X3d+X2d′其中
X 2 d ′ = F − 1 ( X 2 d ) , X 2 d ′ ∈ R n × 224 × 224 × 12 × 64 X_{2d}'=F^{-1}(X_{2d}),X_{2d}' \in R^{n \times 224 \times 224 \times 12 \times 64} X2d′=F−1(X2d),X2d′∈Rn×224×224×12×64
X 3 d = f 3 d ( I , y 2 d ^ ′ ; θ 3 d ) X_{3d}=f_{3d}(I,\hat{y_{2d}}';\theta_{3d}) X3d=f3d(I,y2d^′;θ3d)
X 3 d X_{3d} X3d为3D DenseUnet中upsampling layer5层的feature map
![[深度学习从入门到女装]H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volu_第4张图片](http://img.e-com-net.com/image/info8/77f1469fb8d943beb6d8a127fe459325.jpg)