从rookie到基佬~008：Transformer

一天一个变弯小技巧

今日份洗脑：Transformer CV计算机视觉 语义分割

结论：TransFuse、TransUNet、SETR

一、TransFuse

论文链接：https://arxiv.org/abs/2102.08005

在本文中，我们研究了更具挑战性的问题，即在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。提出了一种新颖的两分支架构TransFuse，该架构以并行方式结合了Transformers和CNN。使用TransFuse，可以以较浅的方式有效地捕获全局依赖性和low-level空间细节。
此外，提出了一种新颖的融合技术-BiFusion模块，用于融合每个分支的多级特征。

二、TransUNet

论文链接：https://arxiv.org/abs/2102.04306
GitHub链接：https://github.com/Beckschen/TransUNet

一方面，Transformer将来自卷积神经网络（CNN）特征图的标记化图像块编码为提取全局上下文的输入序列。另一方面，解码器对编码的特征进行上采样，然后将其与高分辨率的CNN特征图组合以实现精确的定位。
我们认为，借助U-Net的组合，通过恢复局部的空间信息，可以将Transformers用作医学图像分割任务的强大编码器。

SETR

论文链接：https://arxiv.org/abs/2012.15840
GitHub链接：https://github.com/fudan-zvg/SETR

在本文中，我们旨在通过将语义分割视为序列到序列的预测任务来提供替代视角。具体来说，我们部署一个纯 transformer（即，不进行卷积和分辨率降低）将图像编码为一系列patch。通过在 transformer的每一层中建模全局上下文，此编码器可以与简单的解码器组合以提供功能强大的分割模型，称为SEgmentation TRansformer（SETR）。