深度学习之DAT

深度学习之DAT_第1张图片

这篇文章是2022年Vision-Transformer领域的CVPR论文。文章推出了一种新的Vision Transformer模型——Deformable Attention Transformer(DAT)。DAT将DCN运用到Transformer中,从而将注意力的运算集中在重要性区域上,为目标检测带来了一定程度的性能提升。DAT最大的价值在于其使得自注意力层可以聚焦于相关区域来捕获信息

参考目录:
①源码
②CVPR 2022 | 清华开源DAT:具有可变形注意力的视觉Transformer
③DAT论文解读(暖风)

Vision Transformer with Deformable Attention

  • Abstract
  • 1 Introduction

你可能感兴趣的:(深度学习,深度学习,计算机视觉,人工智能,transformer,神经网络)