转载请标明链接:http://www.cnblogs.com/yanwei-li/p/8670658.html
MOT16是多目标跟踪领域非常有名的评测数据集,Ref 1详细阐述了这个数据集的组成以及评测标准(及其评测代码),Ref 2详细地解释了许多标准的由来和考虑,本部分主要介绍MOT任务中常用的评测标准。
Reference:
- "MOT16: A Benchmark for Multi-Object Tracking" (http://arxiv.org/pdf/1603.00831.pdf)
- "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics" (https://link.springer.com/content/pdf/10.1155%2F2008%2F246309.pdf)
MOT16评测代码:http://motchallenge.net/devkit
1. MOTA ( Multiple Object Tracking Accuracy)
其中,FN为False Negative,FP为False Positive,IDSW为ID Switch,GT为Ground Truth 物体的数量。MOTA考虑了tracking中所有帧中对象匹配错误,主要是FN,FP,ID Switch。MOTA给出了一个非常直观的衡量跟踪器在检测物体和保持轨迹时的性能,与物体位置的估计精度无关。MOTA取值应小于100,当跟踪器产生的错误超过了场景中的物体,MOTA会为负数。需要注意的是,此处的MOTA以及MOTP是计算所有帧的相关指标再进行平均(既加权平均值),而不是计算每帧的rate然后进行rate的平均。
2. MOTP (Multiple Object Tracking Precision)
其中,d为检测目标i和给它分配的ground truth之间在所有帧中的平均度量距离,在这里是使用bonding box的overlap rate来进行度量(在这里MOTP是越大越好,但对于使用欧氏距离进行度量的就是MOTP越小越好,这主要取决于度量距离d的定义方式);而c为在当前帧匹配成功的数目。MOTP主要量化检测器的定位精度,几乎不包含与跟踪器实际性能相关的信息。
3. MT (Mostly Tracked)
满足Ground Truth至少在80%的时间内都匹配成功的track,在所有追踪目标中所占的比例。注意这里的MT和ML与当前track的ID是否发生变化无关,只要ground truth与目标匹配上即可。
4. ML (Mostly Lost)
满足Ground Truth在小于20%的时间内匹配成功的track,在所有追踪目标中所占的比例。
5. ID Switch
Ground Truth所分配的ID发生变化的次数,如图1中(a)所示。
6. FM (Fragmentation)
FM计算的是跟踪有多少次被打断(既Ground Truth的track没有被匹配上),换句话说每当轨迹将其状态从跟踪状态改变为未跟踪状态,并且在稍后的时间点跟踪相同的轨迹时,就会对FM进行计数。此处需要注意的是,FM计数时要求ground truth的状态需要满足:tracked->untracked->tracked,如图1中(b)所示,而(c)中的不算FM。需要注意的是,FM与ID是否发生变化无关。
7. FP (False Positive)
当前帧预测的track和detection没有匹配上,将错误预测的track点称为FP,如图1所示。是否匹配成功与匹配时所设置的阈值有关。
8. FN (False Negative)
当前帧预测的track和detection没有匹配上,将未被匹配的ground truth点称为FN(也可以称为Miss),如图1所示。
图1 Tracker-to-target匹配示意图