课程八学习笔记:卷积和Transformer结合的ViT

课程八学习笔记:卷积和Transformer结合的ViT

  • 1. 回顾Swin Transformer
  • 2. 卷积和Transformer结合——MobileViT
  • 3. 实践Swin Transformer
  • 4. 实践数据加载Dataloader

1. 回顾Swin Transformer

课程八学习笔记:卷积和Transformer结合的ViT_第1张图片
经过shift的矩阵,计算注意力
课程八学习笔记:卷积和Transformer结合的ViT_第2张图片

2. 卷积和Transformer结合——MobileViT

你可能感兴趣的:(transformer,深度学习,人工智能)