KiU-Net: Overcomplete Convolutional(过完备卷积) Architectures for Biomedical Image(生物医学图像) and Volumetric Segmentation(血管分割)
论文:KiU-Net: Overcomplete Convolutional Architectures for Biomedical Image and Volumetric Segmentation
源码:https://github.com/jeya-maria-jose/KiU-Net-pytorch
Q:什么是过完备(Overcomplete)?
A:指的是基函数的个数超过输入信号的采样个数,以减少信息丢损,同时也有利于发掘数据中的结构。
目录
一、摘要
二、创新点
三、方法
1. Overcomplete Networks(过完备网络 Kite-Net)
2. Undercomplete Networks(不完备网络 U-Net 3D)
3. Cross Residual Feature Block(CRFB模块)
四、实验
1. 定量分析
2. 定性分析
五、讨论
1. Res-KiUNet
2. Dense-KiUNet
六、总结
研究背景:大多数医学图像分割方法都使用 U-Net 或其变体,因为它们在大多数应用中都取得了成功。在对这些基于编码器-解码器的“传统”方法进行详细分析后,发现它们在检测较小结构方面表现不佳,并且无法精确分割边界区域。
这个问题可以归因于随着深入编码器,感受野大小的增加。对学习高级特征的额外关注,导致基于 U-Net 的方法学习较少的低级特征信息,而低级特征对于检测小结构至关重要。
主要工作:为了克服这个问题,作者提出使用一个过完备的卷积架构,将输入图像投影到一个更高的维度,这样就可以限制感受野在网络的深层增加。设计了一种新的图像分割架构 KiU-Net,它有两个分支:
(1) 上分支:学习捕获输入的精细细节和精确边缘的过完备卷积网络 Kite-Net。
(2) 下分支:学习高级特征的 U-Net。
此外,还提出了 KiU-Net 3D,这是一种用于体积分割的三维卷积架构。
研究成果:通过在覆盖各种图像模式的五个不同数据集上进行实验,对 KiU-Net 进行了详细的研究。以更少的参数和更快的收敛速度的额外好处实现了良好的性能。我们还证明了基于残差块和密集块的 KiU-Net 扩展可以进一步提高性能。
1. 提出了KiU-Net 3D,这是KiU-Net用于体积分割的扩展。使用基于3D卷积的过完备网络来有效提取低级信息。
2. 提出了Res-KiUNet和Dense-KiUNet架构,分别使用剩余连接和密集块来改善网络的学习。
3. 评估了所提出的架构在5个数据集上进行体积和图像分割的性能:脑肿瘤分割(BraTS)、肝肿瘤分割(LiTS)、腺体分割(GlaS)、视网膜图像血管树提取(RITE)和脑解剖分割。这些数据集分别对应于5种不同的模态:超声(US)、磁共振成像(MRI)、计算机断层扫描(CT)、显微镜(microscopic)和眼底图像(fundus)。通过在多个数据集上进行这些额外的实验,证明了所提出的方法可以很好地推广到不同的模态。
用于3D体积分割的KiU-Net 3D的架构,主要由Kite-Net 3D,CRFB模块和U-Net 3D组成,如下图所示:
Kite-Net,它是 U-Net 的一个过完备版本。
目的:使用基于3D卷积的过完备网络来捕获输入的精细细节和精确边缘(低级的小特征)。
方法:过完备架构Kite-Net在编码器中具有上采样层,在解码器中具有最大池化层,这确保了网络深层过滤器的感受野大小不会像U-Net那样增加,从而便于Kite-Net提取边界的精细细节以及更深层的小结构。
过程:在Kite-Net 3D分支的编码器中,每个conv块都有一个conv 3D层,后面是一个系数为2的三线性上采样层和ReLU激活(共三层)。在解码器中,每个conv块都有一个conv 3D层,后面是一个系数为2的3D最大池化层和ReLU激活(共三层)。此外,同层之间还有跳连接进行特征融合。
目的: 提取高级特征,弥补Kite-Net缺乏提取高级特征的过滤器的缺陷。
过程:在U-Net 3D分支的编码器中,每个conv块都有一个conv 3D层,后面是一个系数为2的3D最大池化层和ReLU激活。在解码器中,每个conv块都有一个conv 3D层,后面是一个系数为2的三线性上采样层和ReLU激活。此外,同层之间也有跳连接进行特征融合。
CRFB模块(交叉残差特征模块),如下图所示:
目的:将以上两种网络在多个尺度上的特征结合起来,以此从两个网络中学习互补的特征,进一步提高单个网络学习到的特征的质量。
方法:在 CRFB中,学习 Kite-Net 3D的残差特征并将其添加到 U-Net 3D的特征中,将互补特征转发给U-Net,反之亦然。
过程:将来自U-Net 3D的第 i 个特征图表示为,来自Kite-Net 3D的第 i 个特征图表示为
。首先使用conv块从
,
中提取交叉残差特征
和
。
被转发到的conv块具有conv 3D层和最大池化层的组合。
被转发通过的conv块具有conv 3D层和上采样层的组合。然后将这些跨层残差特征添加到原始特征
和
(残差连接),以获得互补特征
和
,公式定义如下:
,
传入U-Net 3D的下一层和
传入Kite-Net 3D的下一层。
数据集:脑解剖分割 (超声) 数据集,收集了 20 个不同早产儿的 US 扫描图,收集的图像总数为 1629 张带有标注的图像,其中1300张被分配用于训练,以及329张用于测试;腺体分割 (显微镜) 数据集,Gland分割(GLAS)数据集共包含 165 张图像,其中85张用于训练,80张用于测试;视网膜神经分段 (眼底) 数据集,RITE 数据集包含 40 张图像,分为20张用于训练,20张用于测试。以上数据集,图像预处理为大小128 x 128,用于KiU-Net训练。
脑肿瘤分割 (磁共振成像) 数据集,注释分为四类--增强肿瘤、瘤周水肿和坏死及非增强肿瘤核心,总共有 335 次MRI扫描;肝脏分割 (CT) 数据集,包含增强腹部CT扫描以及肝脏和肝脏病变的标注,使用数据集的109个CT扫描进行训练,并在27到48之间的21个CT扫描上进行测试。图像预处理为大小255 x 255,用于KiU-Net 3D训练。
损失函数:KiU-Net使用binary cross entropy,KiU-Net 3D使用cross entropy,定义公式如下:
其中,w 和 h 是图像的维度,p(x, y)对应于图像,表示在特定像素位置(x, y)的输出预测。
超参数:设置batch-size为1,学习率为0.001。使用Adam优化器进行训练。训练提出的网络 300 次或直到收敛取决于数据集。
实验细节:使用Python中的Pytorch框架进行的。实验使用两块NVIDIA-RTX 2080Ti gpu 进行。
评估指标:dice系数 (F1-score)。
KiU-Net,KiU-Net 3D与先进网络之间的对比试验:
与所有对比网络相比,KiU-Net和KiU-Net 3D在性能方面实现了显着提升。
KiU-Net,KiU-Net 3D与先进网络之间预测结果的对比分析:
我们可以观察到 KiU-Net 能够精确地分割小脑室,而其他传统的网络无法做到这一点。KiU-Net 3D也能够比任何其他网络明显更好地分割肿瘤的表面和边缘,并且更接近真值。
两种不同的改进思路:基于残差模块和密集模块的改进。
在每个分支在每个层上都添加残差连接。
每个分支在每个层上都添加密集模块。密集模块包含4个conv层,每个conv层都只输出k/4特征图,最后将所有的conv层的输出进行连接获得一个完整的特征图。
效果对比:
可以观察到,与KiU-Net相比,Dense-KiUNet 和 Res-KiUNet 提供了进一步的性能改进。
1. 根据感受野的增大不利于学习细小的低级特征的结论,作者提出了超完备卷积架构(Kite-Net ),用于抑制感受野,更精确地学习小掩模和表面和边缘的更精细细节。
2. 为了学习低级特征的同时,学习高级特征,作者使用了双分支的网络结构,网络下分支使用U-Net进行高级特征的提取。
3. 为了在多个尺度上将低级特征和高级特征结合起来,作者提出了CRFB模块,使用残差连接的方式将跨层特征进行融合。