关于vit的预研

1 图片分类网络ViT、MobileViT、Swin-Transformer、MobileNetV3、ConvNeXt、EfficientNetV2

2 极智AI | 详解 ViT 算法实现_wx621f3bb1e27ee的技术博客_51CTO博客 

3 Vision Transformer (ViT)——Pytorch代码实现 - LuoYang‘s Blog

4 ViT (Visual Transformer) - 知乎

other 纹理分析以及结合深度学习来提升纹理分类效果_ronghuaiyang的博客-CSDN博客

unet中使用transformer?

医学图像分割是开发医疗保健系统的必要前提,尤其是疾病诊断和治疗规划。在各种医学图像分割任务中,u形结构(也称为UNet)已成为事实上的标准,并取得了巨大成功。然而,由于卷积运算的内在局部性,U-Net通常在显式建模长期依赖性时表现出局限性。设计用于seq2seq预测的Transformer已成为具有固有全局自我注意机制的替代架构,但由于低层次细节不足,可能导致有限的定位能力。在本文中,作者提出了Swinunet作为医学图像分割的一种强有力的替代方法,它使用SwinTransformer进行编码解码,结构形式类似UNet,解码器对编码特征进行上采样,然后将其与高分辨率NN特征映射相结合,以实现精确定位。作者认为,Transformer可以作为医学图像分割任务的强编码器,与U-Net相结合,通过恢复局部空间信息来增强细节。SwinUNet在不同的医学应用中,包括多器官分割和心脏分割,实现了优于各种竞争方法的性能。 

transunet_pytorch

SUNetSUNet恢复模型

你可能感兴趣的:(预研,transformer)