3DConvCaps：3DUNet与卷积胶囊编码器用于医学图像分割

摘要

卷积神经网络需要大量的训练数据，无法处理物体的姿态和变形。此外其中的池化层也倾向于丢弃位置等重要的信息。CNN对旋转和仿射变换非常敏感。

胶囊网络是最近出现的一种新型体系结构，其通过动态路由和卷积步长代替池化层，在部分整体表示中获得了更好的鲁棒性。

本文提出了一种基于卷积胶囊编码器的三维编码器-解码器网络，利用卷积层学习低级特征，同时利用胶囊层建模高级特征

Introduction

在U型编解码器结构中，每个特征映射只包含特征存在的信息，网络依靠固定的学习权重矩阵来连接层与层之间的特征，因此这样的模型不能很好的泛化输入图像中看不到的变化，在这种情况下通常表现的很差，此外，CNN的池化层在局部窗口中总结特征，丢弃了重要的空间信息。此外CNN对旋转和仿射变换敏感。

为了克服CNN的局限性，胶囊网络对包括位置，尺度位置在内的整体-部分关系进行编码。Capsule通过一种新的优化机制，即动态路由，对对象的部分特征之间的关系进行建模。在这种机制中，各个部分对整个对象的贡献在训练和测试时的权重是不同的。胶囊块有效地在高级特征上建模全局关系，而卷积块能够熟练地学习局部特征。

基于胶囊的医学图像分割方法对多个特征通道进行分组来构建张量，而不是将非线性应用于CNN中过滤器的标量输出。一般来说，基于胶囊的网络由两层组成：第一个初级层捕获低层特征，然后是专门的二级层，预测图像中物体的存在和姿态。此外Capsule中的每个层都旨在学习一组实体，并以高维形式表示它们。在Capsule中假设前一层的实体是一个简单的特征，基于他们投票的一致，下一层的复杂特征将被激活或不被激活。

3D ConvCaps

A：胶囊网络

胶囊网络通过在聚合层保留更多的信息来加强特征学习，用于姿态推理和学习部分-整体关系，这使它成为语义分割和目标检测任务的潜在解决方案。在胶囊网络中，一个胶囊旨在表示一个实体:胶囊规范表示实体存在的概率，胶囊方向表示实体的配置。胶囊网络最近在一个CNN中实现了[16]，它包含了两层带有动态路由的胶囊。复杂对象是由简单对象通过投票机制形成的，也即是动态路由

B：网络结构

3D ConvCaps被设计成编码器-解码器结构，同时继承了卷积块和胶囊块的优点。在3DConvCaps中较低层次的特征采用卷积块编码来获取短范围信息，而较高层次的特征采用胶囊块编码来学习部分-整体关系的长程依赖性。整个网络架构主要包含三个部分：1）视觉特征提取器2）ConvCaps特征编辑器 3）卷积解码器

网络结构如下图所示：

a)视觉特征提取器

在这个模块中，原始输入图像大小H*W*D*C，通过卷积核大小为5*5*5的三个扩张卷积来提取视觉特征，膨胀因子分别为1、3、3。通道的数量从16增加到32，然后是64，该组件的输出是一个大小为H × W × D × 64的特征图。

b)ConvCaps Feature Encoder

 该组件将前一个组件的可视特征大小H×W ×D×64作为其输入。组件从较低级别的特性提取到较高级别的特性。由于较低层次特征捕获的是短程信息，所以使用了卷积块。卷积层定义为通道数从64增加到128，核大小为3 × 3 × 3。下采样采用核数为3 × 3 × 3、走向为2的卷积层进行。更高层次的功能捕获远程信息，因此，使用3D胶囊块。我们的网络编码器路径中的胶囊类型个数设为(8,8)，为了通过边距损失[16]监督学习模型，最后一个胶囊层中的胶囊类型个数等于分割中的类别个数.最后一层胶囊层的形状为H/8 × W/8 × D/8 × C × A，其中C为胶囊类型的数量，A为每个胶囊的尺寸

c)Conv Decoder

在扩展路径中使用胶囊的效果可以忽略不计，但由于胶囊层之间的路由，会产生较高的计算成本.网络中的扩展路径中只使用了卷积层。该组件将前一个组件中的ConvCaps特性考虑进去，并生成分割掩码.我们首先重塑特征然后将它们经过上采样层，跳跃连接和卷积层

C：损失函数

 3D ConvCaps主要由以下三个损失构成：

边缘损失：

加权交叉熵损失and重构损失

总的损失为：

 总结

在本文中提出的网络结构，它继承了胶囊层和卷积层的优点，分别在高级特征上建模部分-整体关系和在低级特征上学习短程信息。