【数据关联（1）】Tracking-by-detection 多目标跟踪范式与“数据关联”的关系说明

这个领域有一些专有名词需要大家清楚！

1 Tracking-by-detection multi-object tracking(MOT) 范式跟踪器是什么？

• 视频序列中目标的检测和跟踪，带有id。
• 集成目标检测和数据关联技术

1.1 关系图（个人理解，如有错误请指正）

1.2 跟踪器有哪些？

• 实现MOT的跟踪的具体的方法，属于集成软件包。我们可以把数据关联方法应用进入具体的跟踪器。
• 熟知的9个不同的最先进的跟踪器，包括JDE [69]， CSTrack [33]， FairMOT [85]， TraDes [71]， QDTrack [47]， CenterTrack [89]， Chained-Tracker [48]， TransTrack[59]和MOTR[80]。
• 在这些跟踪器中，JDE、CSTrack、FairMOT、TraDes采用了运动相似性和ReID相似性相结合的方法。
• QDTrack仅采用Re-ID相似性。
• CenterTrack和TraDes通过学习网络预测运动相似性。
• chain - tracker采用链式结构，同时输出两个连续帧的结果，并通过借据在同一帧中进行关联。
• TransTrack和MOTR采用注意机制在帧间传播框。

2、核心部分“数据关联”方法是什么？data association method？

2.1 解释

• 数据关联是Tracking-by-detection 多目标跟踪的核心，首先计算轨迹与检测盒之间的相似度，并根据相似度利用不同的策略进行匹配。
• 因此，分为两个层次：相似度计算Similarity metrics 和 匹配策略 Matching strategy。
• 我们熟知的其他的数据关联方法有：包括SORT[6]、DeepSORT[70]和MOTDT[12]
• 继续说，Similarity metrics 包括 Location, motion and appearance are useful cues for association.
  • 如果是 location 的相似度，首先采用卡尔曼滤波[29]来预测轨迹的位置，然后计算出检测框与预测框之间的 IoU 作为相似度。
  • motion 相似度，最近的一些方法[59,71,89]设计网络来学习目标运动，并在大的摄像机运动或低帧率的情况下获得更稳健的结果。
  • 外观相似度，可以通过Re-ID特征的余弦相似度来度量。DeepSORT[70]采用独立的Re-ID模型从检测框中提取外观特征。近年来，联合检测和Re-ID模型[33,39,47,69,84,85]因其简单和高效而越来越受欢迎
• Matching strategy 分为“一个分配问题求最优解”和“统筹考虑多个关联方式”两种。
• 求解是算法有：
  • 单个最优：匈牙利算法，贪心算法，Kuhn-Munkras算法（核心思想是贪心） 等
  • 多个最优：Murty’s 等
  • 多个次优：Gibbs 采样 等
• 一个分配问题求最优解。在所有可能关联中，找到概率最大的一个或者几个。但很多时候，我们并不需要计算所有的可能性，只需要用一个方法找到最优解即可。从这个角度，问题变成了一个分配问题求最优解的过程。只保留一个最优关联，缺点就是抛弃了除了最优以外的所有信息，例如GNN用贪婪算法的思维，GNN属于具体的实践。
• 统筹考虑多个关联方式。多个关联方式，并且用联合概率的方式融合它们得到一个新的联合概率，以此来利用更多的信息。 最重要的两个传统方法：联合概率数据关联(JPDA)和多重假说追踪(MHT)，这都是属于具体的实践。

2.2 流行的关联方法—>BYTE，SORT DeepSORT MOTDT

流行的关联方法进行比较，包括BYTE，SORT[6]、DeepSORT[70]和MOTDT[12]。

SORT方法可以看作是我们的基线方法，因为这两种方法都只采用卡尔曼滤波来预测物体运动。我们可以发现BYTE将SORT的MOTA度量从74.6提高到76.6,IDF1从76.9提高到79.3,id从291减少到159。这突出了低分数检测盒的重要性，并证明了BYTE从低分数1恢复对象盒的能力。

DeepSORT利用额外的Re-ID模型来增强远程关联。我们惊奇地发现，与DeepSORT相比，BYTE也有额外的收益。这表明，简单的卡尔曼滤波可以实现远程关联，并在检测框足够准确的情况下实现更好的IDF1和id。我们注意到，在严重闭塞的情况下，Re-ID特征是脆弱的，可能导致身份切换，而运动模型的行为更可靠。

MOTDT集成了运动引导盒传播结果和检测结果，将不可靠的检测结果与轨迹关联起来。尽管有着相似的动机，但MOTDT还是远远落后于BYTE。我们解释了MOTDT使用传播的盒作为轨迹盒，这可能导致跟踪中定位漂移。相反，BYTE使用低分数的检测框来重新关联那些不匹配的轨迹，因此，轨迹框更准确。

2.3 Matching strategy 关系图（个人理解，如有错误请指正）

[正文完]