机器学习算法评估指标——3D目标跟踪

与2D目标跟踪类似，3D目标跟踪可以分为单目标跟踪和多目标跟踪，首先介绍单目标跟踪（SOT）算法的常用评估指标；其次介绍多目标跟踪（MOT）算法的常用评估指标。

单目标跟踪

传统的评估tracker的方式是：在测试序列上运行一遍该跟踪算法（其中第一帧以ground truth作初始化），然后计算average precision或sucess rate。我们把这种只在测试序列上运行一遍的评估方法叫做one-pass evaluation (OPE)。然而tracker对初始化可能比较敏感，不同的起始帧可能对performance有很大的影响。因此，还需要对算法的鲁棒性进行评估，包括时间鲁棒性评估（TRE）和空间鲁棒性评估（SRE）。接下来详细介绍OPE和Robustness的评估指标。

ALE（Average Location Error）

• 定义：平均定位误差，即预测框与真实框中心位置的欧式距离取帧平均
• 用途：用来判断两个框的靠近程度

AOR（Average Overlap Rate）

 

Overlap Rate threshold

• 定义：平均重叠率，即预测的b-box与ground truth的交并比取帧平均
• 范围：0~100%
• 用途：用来判断两个框的重叠程度

• Location Error threshold

• 定义：需要人为设定的定位误差的阈值，Location Error低于该阈值的框被认为是命中目标，反之则被认为未命中
• 用途：作为区分框是否命中目标的指标
• 定义：需要人为设定的重叠率的阈值，重叠率高于该阈值的框被认为是命中目标，反之则被认为未命中
• 范围：0～100%
• 用途：作为区分框是否命中目标的指标

Precision plot

• 定义：选取不同的Location Error threshold，得到各阈值下的precision，连接各点形成precision曲线
• 用途：根据曲线下的面积或者某个threshold下的precision，来衡量tracker的跟踪准确度。

Success plot

• 定义：选取不同的Overlap Rate threshold，重叠率大于阈值视为跟踪成功，序列中跟踪成功的帧数占总帧数的比例定义为跟踪成功率，则可以得到各阈值下的成功率，连接各点形成success曲线
• 用途：根据曲线下的面积来衡量tracker的跟踪精确度

TRE（Temporal Robustness Evaluation）

• 定义：时间鲁棒性评估。从整个序列中截取若干段（可以重复），每段的初始帧利用ground truth进行初始化，在每一段上分别运行跟踪算法，对每一段分别进行评估，最后对总体信息进行统计。

SRE（Spatial Robustness Evaluation）

• 定义：空间鲁棒性评估。对起始帧的ground truth进行shift或scale操作形成若干段测试序列，在每一段上分别运行跟踪算法，对每一段分别进行评估，最后对总体信息进行统计

多目标跟踪

在2D 目标跟踪中介绍了MOTP、MOTA、MT、ML、FM等2D MOT评估指标，这些指标对于3D MOT同样适用，只是在3D场景下需要将3D IoU作为衡量假设与目标是否匹配的标准。

然而，使用单个阈值进行评估无法反映出accuracy和precision的全部范围。换句话说，仅在单个阈值处获得高MOTA值而在其他阈值处获得极低MOTA值的MOT系统在单一阈值的评估标准下仍然可能脱颖而出。但理想情况下，研究人员应继续开发MOT系统，以在所有阈值上实现尽可能高的MOTA。

为了解决这个问题，在3D MOT中，论文提出了两个新的评估指标：AMOTA和AMOTP，总结所有阈值上的MOTA和MOTP，而不是使用单个阈值。与目标检测的平均精度AP相似，通过将MOTA和MOTP在recall曲线下积分，可以计算出AMOTA和AMOTP。为了简化计算，可以使用插入法来近似积分。

AMOTA（Average Multiple Object Tracking Accuracy）

• 定义：多目标跟踪平均准确度。选取不同的阈值，得到不同阈值下的recall和MOTA，以recall为横坐标、MOTA为纵坐标，绘制出MOTA-recall曲线，使用插入法求取MOTA的均值，即AMOTA。

• 用途：用来评估跟踪算法在所有阈值下的总体准确度表现，以提高算法健壮性

AMOTP（Average Multiple Object Tracking Precision）

• 定义：多目标跟踪平均精度。选取不同的阈值，得到不同阈值下的recall和MOTP，以recall为横坐标、MOTP为纵坐标，绘制出MOTP-recall曲线，使用插入法求取MOTP的均值，即AMOTP。

• 用途：用来评估跟踪算法在所有阈值下的总体精度表现，以提高算法健壮性