IVP 2021 UNETR: Transformers for 3D Medical Image Segmentation

动机

1. 具有跟踪和扩展路径的全卷积神经网络（FCNNs）（如编码器和解码器），近年来在各种医学图像分割应用中显示出了突出的地位。在这些体系结构中，编码器通过学习全局上下文表示来扮演一个不可或缺的角色，该全局上下文表示将进一步用于解码器的语义输出预测。
2. 卷积层作为FCNN的主要构造块，其局部性限制了此类网络学习长时空间依赖的能力。
3. 在NLP领域，基于transformer的模型已经在各种任务中实现了最先进的基准。transformer中的自我注意机制使他们能够动态地突出词序列的重要特征并学习其长时依赖关系。这一概念最近被扩展到计算机视觉，引入了视觉transformer(ViT)。在ViT中，一张图像被表示为将用于直接预测用于图像分类的类标签的图片块嵌入序列。

方法

如上图所示，UNETR采用收缩-膨胀模式，由一堆transformer作为编码器，通过跳过连接与解码器相连。

编码器。创建一个三维输入（h×W×D×C）的一维序列，通过将其划分为flatten的相同大小的非重叠图片块。使用一个线性层将平面化的图片块投影到一个K维嵌入空间中，该空间在整个transformer中保持不变。此外，为了保留所提取的图片块的空间信息，在投影图片块上加入一个一维可学习的位置