TransUNet

TransUnet: Transformers 和 Unet 的强强联合

论文题目:TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation.
论文链接:链接: https://arxiv.org/abs/2102.04306.

Introduction

  • Unet是目前语义分割常用的网络结构,但是由于卷积固有的局部性特征,基于卷积的方法不能有效建模长程关系。

  • Transformers是为sequence to sequence的预测设计的方法,不仅对于全文建模有很大的优势,而且在大规模的预训练中,它还表现出对下游任务的优越的可转移性。

  • 文章提出Unet和Transformers结合的TransUNet。

Unet

参考:U-Net: Convolutional Networks for Biomedical Image Segmentation

总体结构:
TransUNet_第1张图片

  • 图像分割的常用的网络结构
  • 由两部分组成:
           encoder和decoder
  • 特点:
           U型结构和skip-connection

UNet的encoder下采样4次,一共下采样16倍,对称地,其decoder也相应上采样4次,将encoder得到的高级语义特征图恢复到原图片的分辨率。

Transformer

  • 由两部分组成:
           encoder和decoder
  • 特点:
           encoder中主要包括一个多头注
    意力层和一个前馈神经网络层
           decoder相比encoder多了一个注
    意力层
    总体结构:
    TransUNet_第2张图片

Method

TransUNet_第3张图片

图片切片成为2D序列方法参考:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
结构图:
TransUNet_第4张图片

Decoder

TransUNet_第5张图片

TransUNet总体结构

TransUNet_第6张图片

Experiments

– 对比实验
TransUNet_第7张图片
评价标准:Dice系数和豪斯多夫距离
文章还探究了skip-connction数目、输入的图片分辨率、切片大小等对于TransUNet的影响。

Conclusion

TransUNet_第8张图片

你可能感兴趣的:(论文阅读,深度学习,计算机视觉)