TPAMI 2024 | TransVG++：基于语言条件视觉Transformer的端到端视觉定位

题目：TransVG++: End-to-End Visual Grounding With Language Conditioned Vision Transformer

TransVG++：基于语言条件视觉Transformer的端到端视觉定位

作者：Jiajun Deng , Zhengyuan Yang , Daqing Liu , Tianlang Chen , Wengang Zhou ,Yanyong Zhang , Houqiang Li , Wanli Ouyang , Senior Member

源码链接： https://github.com/djiajunustc/TransVG

---

摘要

在这项工作中，我们探索了基于Transformer的整洁而有效的框架，用于视觉定位问题。以往的方法通常通过手动设计的机制来解决视觉定位的核心问题，即多模态融合和推理。这种启发式设计不仅复杂，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，它通过Transformer建立多模态对应关系，并通过直