香港大学等提出TransTrack：基于Transformer的多目标跟踪

首次展示了一种基于query-key机制的简单有效的方法，在MOT17上实现65.8％的MOTA，代码刚刚开源！

PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了，这篇是多目标跟踪，但似乎单目标跟踪还没被Transformer"攻克"（等看谁家手速快，且work了）

注：文末附【目标跟踪】和【Transformer】交流群

TransTrack: Multiple-Object Tracking with Transformer

• 作者单位：港大(罗平团队), 字节AI Lab, 同济, CMU, 南洋理工大学
• 代码：https://github.com/PeizeSun/TransTrack
• 论文：https://arxiv.org/abs/2012.15460

TransTrack

多目标跟踪（MOT）主要由复杂的多步tracking-by-detection算法控制，该算法分别执行目标检测，特征提取和时间关联。

单目标跟踪（SOT）中的query-key机制通过前一帧的对象特征跟踪当前帧的对象，具有建立简单的联合检测和跟踪MOT范例的巨大潜力。但是，由于query-key方法无法检测到新出现的对象，因此很少进行研究。

在这项工作中，我们提出了TransTrack，这是使用Transformer进行MOT的基准。它利用query-key机制，并将一组学习到的对象查询引入到pipeline中，以检测新出现的对象。 TransTrack具有三个主要优点：

（1）它是基于query-key机制的在线联合检测跟踪pipeline。简化了先前方法中的复杂步骤和多步骤组件。

（2）它是基于Transformer的全新体系结构。学习的对象查询将检测当前帧中的对象。来自上一帧的对象特征查询将那些当前对象与先前的对象相关联。

（3）首次展示了一种基于查询键机制的简单有效的方法，而Transformer架构可以在MOT17挑战数据集上实现具有竞争力的65.8％的MOTA。我们希望TransTrack可以为多目标跟踪提供新的视角。

损失函数

实验结果

目标跟踪交流群

已建立CVer-目标跟踪微信交流群！想要进目标跟踪学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：目标跟踪+学校+昵称，即可。然后就可以拉你进群了。

Transformer交流群

建了CVer-Transformer交流群！想要进分割学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。

更多优质CV内容，请关注CVer微信公众号，扫码下方二维码即可关注！