粗读DS-TransUNet: Dual Swin Transformer U-Net for Medical Image Segmentation

粗读DS-TransUNet: Dual Swin Transformer U-Net for Medical Image Segmentation_第1张图片

本文的用了双胞胎网络,通过不同的patch_size,关注不同尺寸的信息,然后利用TIF模块进行融合。

所以核心创新点为两点:第一,通过不同的patch_size关注不同尺度的信息,第二,通过TIF融合信息。

粗读DS-TransUNet: Dual Swin Transformer U-Net for Medical Image Segmentation_第2张图片

TIF模块如图所示,就是把对方的特征图进行平均池化,然后作为加到对方拉平后的特征图尾部,进行transformer计算

粗读DS-TransUNet: Dual Swin Transformer U-Net for Medical Image Segmentation_第3张图片

同时,swin transformer部分如上图所示,attention模块不再是关注全局,而是分两步,每一步每个patch都只考虑周围的几个patch进行计算,SW-MSA的区别是会对图像整体往左上移动,消失的部分从右边和下面冒出来,然后计算MSA。具体操作见这篇文章:SW-MSA

你可能感兴趣的:(深度学习,transformer,深度学习,人工智能)