transformer进行医学图像分割文章

CoTr：基于CNN和Transformer进行3D医学图像分割

在本文中，我们提出了一个新颖的框架，该框架可以有效地桥接卷积神经网络和Transformer，以进行精确的3D医学图像分割。在此框架下，构建CNN来提取特征表示，并构建有效的可变形Transformer（DeTrans）来建模对提取的特征图的远程依赖性。与原Transformer（均等地对待所有图像位置）不同，我们的DeTrans通过引入可变形的自注意力机制，仅关注少数关键位置。
因此，大大降低了DeTrans的计算和空间复杂度，从而可以处理通常对于图像分割至关重要的多尺度和高分辨率特征图

UNETR: Transformers for 3D Medical Image Segmentation

近年来，具有收缩路径和扩展路径（例如，编码器和解码器）的全卷积神经网络（FCNN）在各种医学图像分割应用中表现出突出的地位。在这些体系结构中，编码器通过学习全局上下文表示形式扮演着不可或缺的角色，而全局上下文表示形式将被解码器进一步用于语义输出预测。尽管取得了成功，但作为FCNN的主要构建模块的卷积层的局限性限制了在此类网络中学习远程空间相关性的能力。
受自然语言处理（NLP）Transformer在远程序列学习中的最新成功的启发，我们将volumetric（3D）医学图像分割的任务重新设计为序列到序列的预测问题。特别是，我们介绍了一种称为UNEt TRansformers（UNETR）的新颖体系结构，该体系结构使用纯Transformers作为编码器来学习输入量的序列表示并有效地捕获全局多尺度信息。
编码器通过不同分辨率的跳转连接直接连接到解码器，以计算最终的语义分割输出。我们已经使用医学分割十项全能(MSD)数据集在不同成像模式(即MR和CT)上广泛验证了我们提出的模型在体积脑瘤和脾脏分割任务中的性能，并且我们的结果始终显示出良好的基准。

Swin-unet：用于医学图像分割的类UNET纯transformer

在过去的几年里，卷积神经网络(CNNs)在医学图像分析中取得了里程碑式的成就。尤其是基于U型结构和跳跃连接的深度神经网络在各种医学图像任务中得到了广泛的应用。然而，尽管CNN取得了很好的性能，但由于卷积运算的局部性，它不能很好地学习全局和远程语义信息交互。在本文中，我们提出了Swin-UNET，它是一种类似于UNET的纯转换器，用于医学图像分割。标记化的图像块被送入基于Transformer的U型编解码器结构中，并带有跳跃连接，用于局部全局语义特征学习。具体地说，我们使用带移位窗口的分层Swin Transformer作为编码器来提取上下文特征。设计了一种基于对称Swin Transformer的带贴片扩展层的解码器，通过上采样恢复特征地图的空间分辨率。在输入输出直接下采样和上采样4倍的情况下，在多器官和心脏分割任务上的实验表明，基于变压器的纯U型编解码器网络的性能优于全卷积和变换与卷积相结合的方法。代码和经过训练的模型将在https://github.com/HuCaoFighting/Swin-Unet.上公开提供

TransBTS：基于transformer的多模式脑肿瘤分割

Transform可以利用自我注意机制进行全局(远程)信息建模，近年来在自然语言处理和二维图像分类方面取得了成功。然而，局部和全局特征对于密集预测任务是至关重要的，特别是对于三维医学图像分割。本文首次将3DCNN中的Transformer应用于MRI脑肿瘤分割，提出了一种基于编解码器结构的TransBTS网络。为了获取局部的3D上下文信息，编码器首先利用3D CNN来提取体积空间特征地图。同时，针对送入Transformer进行全局特征建模的令牌，对特征地图进行了精心的改造。解码器利用Transformer嵌入的特征并执行渐进上采样来预测详细的分割图。在BRATS 2019数据集上的实验结果表明，TransBTS在3D MRI扫描上的脑瘤分割性能优于最先进的方法。代码可在https://github.com/Wenxuan-1119/TransBTS上获得

TransUNet：变形金刚为医学图像分割提供强大的编码器

医学图像分割是开发医疗保健系统，特别是疾病诊断和治疗规划的必要前提。在各种医学图像分割任务中，我们所熟知的U-Net架构已经成为事实上的标准，并取得了巨大的成功。然而，由于卷积运算的固有局部性，U-网在显式建模远程依赖方面通常表现出局限性。transformer是为序列到序列预测而设计的，已经成为具有天生的全局自我注意机制的替代架构，但由于低级细节不足，可能导致本地化能力有限。在本文中，我们提出了TransUNet，它兼具Transformers和U-Net的优点，是一种强有力的医学图像分割方法。一方面，transformer对卷积神经网络(CNN)特征映射中的标记化图像块进行编码，作为提取全局上下文的输入序列。另一方面，解码器对编码后的特征进行上采样，然后将其与高分辨率CNN特征地图相结合，以实现精确定位。我们认为，Transformers可以作为医学图像分割任务的强大编码器，与U-Net相结合，通过恢复局部空间信息来增强更精细的细节。在包括多器官分割和心脏分割在内的不同医疗应用中，TransUNet取得了优于各种竞争方法的性能。代码和模型可以在https://github.com/Beckschen/TransUNet上找到。