多目标追踪评价指标

论文名：

Evaluating multiple object tracking performance: the clear mot metrics', EURASIP

论文目的：

（i）尽可能少的自由参数，可调阈值等，以帮助使评估简单明了并保持结果可比;
（ii）清楚，易于理解，并根据人类的直觉行事，特别是在不同类型的多个错误的发生或整个序列中错误的不均匀重新分配中;
（iii）足够通用以允许比较大多数类型的跟踪器（2D，3D跟踪器，对象质心跟踪器或对象区域跟踪器等）;
（iv)数量少且具有表现力，因此它们可用于例如比较多个系统的大型评估中。

论文指标计算步骤:

假设对于每个时间帧t，多个对象跟踪器输出一组假设{h1，...，hm}表示一组可见对象{o1 ,...，on}，评估程序包括以下步骤：
对于每个时间帧t，
（i）建立假设hj和对象之间的最佳可能对应关系oi，
（ii）对于每个找到的对应关系，计算对象位置估计中的误差，
（iii）累积所有对应错误：

• （1）统计所有没有输出假设的对象；
• （2）将所有没有真实对象存在的跟踪假设计为误报；

• （3）计算与先前帧相比，对象的跟踪假设发生变化的所有事件，作为不匹配错误。可能会发生这种情况，例如，当两个或多个对象在彼此靠近时交换，或者当一个对象轨道由于遮挡而先前丢失之后用另一个轨道ID重新初始化时。

  
  
  image.png

步骤详解：

（i）hj与Oj对应关系 （建立对象和跟踪器假设之间的对应关系）
当hj与Oi之间的欧式距离超过阈值T则认为他们不存在对应关系，反之存在对应关系如图（a）所示

(a) When the distance between o1 and h1 exceeds a certain threshold T, one can no longer make a correspondence. Instead, o1 is considered missed and h1 becomes a false positive.

1. 随着时间的推移一致跟踪
   Second, to measure the tracker’s ability to label objects consistently, one has to detect when conflicting correspondences have been made for an object over time.图（b）说明了这个问题。
   在这里，一段时间内错误地将一条轨道分配给3个不同的对象。
   当对象彼此靠近并且跟踪器错误地交换其身份时，可能发生不匹配。当轨道丢失并以不同的身份重新初始化时，也会发生这种情况。测量这种错误的一种方法可以是确定每个对象o_i和假设h_j的“最佳”映射（o_i，h_j），例如，基于对o_i的初始对应关系，或者对应关系（o_i，h_j）。经常在整个序列中制作。然后，人们将计算违反此映射的所有对应关系视为错误。但在某些情况下，这种措施可能会变得不直观。如图（c）所示，例如，如果在跟踪序列的过程中对象o_i的身份仅被交换一次，则交换发生的时间帧会大大影响这种错误度量的输出值。
   
   
   (b): Mismatched tracks. Here, h2 is first mapped to o2. After a few frames, though, o1 and o2 cross paths and h2 follows the wrong object. Later, it wrongfully swaps again to o3.
   
   image.png
   
   (c): Problems when using a sequence-level “best” object-hypothesis mapping based on most frequently made correspondences. In the first case, o1 is tracked just 2 frames by h1, before the track is taken over by h2. In the second case, h1 tracks o1 for almost half the sequence. In both cases, a “best” mapping would pair h2 and o1. This however leads to counting 2 mismatch errors for case 1; and 4 errors for case 2, although in both cases only one error of the same kind was made.

2. 我们采用不同的方法：只在对象假设映射发生变化的时间帧上计算一次不匹配错误; 并认为中间段的对应关系是正确的。特别是在跟踪许多对象并且频繁出现不匹配的情况下，这为我们提供了更直观和更具表现力的错误度量。
   为了检测何时发生不匹配错误，构造了对象 - 假设映射的列表。设Mt = {（o_i，h_j）}是由时间t构成的映射集，并且让M₀ = {·}。如果在t+1时刻 o_i 和 h_k之间产生了新的对应关系，并且这与M_t时刻的对应关系冲突，一个不匹配错误(Mismatch)将会被记录，并且（o_i，h_j）的匹配关系会被M_{t + 1}中的（o_i，h_k）取代。

3. 当存在多个有效选择时，如此构造的映射列表Mt现在可以帮助在时间t + 1建立对象和假设之间的最佳对应关系。
   图（d）显示了这种情况。当不清楚哪个假设与对象o_i匹配时，优先考虑具有（o_i，h_o）∈M_t，因为这很可能是正确的轨道。其他假设被认为是假阳性，并且可能已经发生，因为跟踪器为o_i输出了几个假设，或者因为先前跟踪另一个对象的假设意外地越过了o_i。
   
   
   (d): Correct reinitialization of a track. At time t, o1 is tracked by h1. At t + 1, the track is lost. At t + 2, two valid hypotheses exist. The correspondence is made with h1 although h2 is closer to o1, based on the knowledge of previous mappings up to time t + 1.

（ii）映射程序(Mapping procedure)
澄清了构建对象 - 假设对应的策略背后的所有设计选择，我们总结了如下过程。
设M0 = {·}。对于每个时间帧t，请考虑以下内容

1. 对于M_t-1中的每个映射（o_i，h_j），验证它是否仍然有效。如果对象o_i仍然可见并且跟踪器假设h_j在时间t仍然存在，并且如果它们的距离不超过阈值T，则对于帧t，使o_i和h_j之间的对应关系成立。

2. 对于尚未进行对应的所有对象，尝试找到匹配的假设。仅允许一对一匹配，以及距离不超过T的对。匹配应以最小化相关对象的总对象假设距离误差的方式进行。
   这是最小权重分配问题，并且使用具有多项式运行时复杂度的Munkres算法[20]来解决。如果做出与M_t-1中的映射（o_i，h_j）相矛盾的对应关系（o_i，h_k），则用M_t中的（o_i，h_k）替换（o_i，h_j）。将其计为不匹配错误，并将mmet设为帧t的不匹配错误数。

3. 在前两个步骤之后，已知当前时间帧的一组完整匹配对。 设c_t为时间t的匹配数. 对于每个这些匹配，计算对象o_i与其对应假设之间的距离dⁱ_t。

4. 所有剩余的假设都被认为是误报。同样，所有剩余的对象都被视为未命中。令fp_t和m_t分别为帧t的误报和未命中数。同时设g_t是在时间t出现对象的数量。

5. 对于下一个时间帧，重复步骤1中的步骤。请注意，由于对于初始帧，映射集M0为空，所有对应关系都是初始的，并且不会发生不匹配错误。

性能指标定义:

基于上述匹配策略，可以定义两个非常直观的度量。

It is the total error in estimated position for matched object-hypothesis pairs over all frames, averaged by the total number of matches made. It shows the ability of the tracker to estimate precise object positions, independent of its skill at recognizing object configurations, keeping consistent trajectories, and so forth.

关于计算平均值的注释：请注意，对于MOTP和MOTA，重要的是首先在帧之间总结所有错误，然后才能计算最终平均值或比率。
原因是在计算所有n个帧的全局平均值

之前独立地计算每个帧t的比率r_t可能导致非直观的结果。这在图3中示出。尽管跟踪器始终错过序列中的大多数对象，但是每帧独立地计算比率然后平均仍将仅产生50％的未命中率。
另一方面，首先总结所有未命中并计算单个全局比率，产生80％未命中率的更直观的结果。

图3