目标跟踪系统评估方式

二、目标跟踪系统评估方式

主要参考：https://blog.csdn.net/hjl240/article/details/52453030
论文：Online Object Tracking: A Benchmark

Precision plot
Success Plot
方法：OPE、TRE、SRE

用精确度和成功率进行定量分析。此外，从两个方面评估了跟踪算法的鲁棒性。

对用于跟踪的初始边界框进行空间（SRE）和时间采样(TRE)，以评估跟踪器的鲁棒性和特性

对于成功图，我们使用AUC分数对跟踪器进行汇总和排名，而对于精确图，我们使用误差阈值为20的结果进行排名

在精确图中，一些追踪器的排名与成功图中的排名略有不同，因为它们基于不同的度量标准，衡量追踪器的不同特性。因为成功图的AUC分数衡量的是整体表现，比图中某个阈值的分数更精确，下面我们主要分析基于成功图的排名，但使用精确图作为辅助。

KCF论文里的说明：（精确曲线。如果预测的目标中心在地面真实的距离阈值内，则可以认为帧被正确跟踪。精度曲线简单地显示了距离阈值范围内正确跟踪帧的百分比。请注意，通过绘制所有阈值的精度，不需要任何参数。这使得曲线清晰且易于解释。低阈值下的更高精度意味着跟踪器更精确，而丢失的目标将阻止它在非常大的阈值范围内达到完美的精度。当需要一个代表性的精度分数时，选择的阈值是20像素）

TRE的平均性能高于OPE

因为从TRE的第一段到最后一段，帧数减少了。由于追踪器往往在较短的序列中表现良好，TRE中所有结果的平均值往往更高。另一方面，

SRE的平均性能低于OPE

初始化错误往往会导致追踪器更新不精确的外观信息，从而导致逐渐漂移。

• 用于评估的跟踪序列,每个序列都显示了带有目标对象边界框的第一帧。这些序列是根据我们的排名结果排序的,左上角的序列比右下角的序列更难追踪

• 数据集中的每个序列都用经常影响跟踪性能的属性进行注释，例如遮挡、快速运动和光照变化。

• 

整个测试集的属性分布

成功图

首先定义重合率得分（overlap score，OS），追踪算法得到的bounding box（记为a），与ground-truth给的box（记为b），重合率定义为：OS = |a∩b|/|a∪b|，|·|表示区域的像素数目。当某一帧的OS大于设定的阈值时，则该帧被视为成功的（Success），总的成功的帧占所有帧的百分比即为成功率（Success rate）。OS的取值范围为0~1，因此可以绘制出一条曲线。一般阈值设定为0.5。

成功图显示了成功帧在阈值从0变化到1的比率，使用一个特定阈值下的成功率值(例如to=0.5)跟踪器评估可能不公平或不具有代表性，我们使用每个成功图的曲线下面积（AUE)来排列跟踪算法。

鲁棒性评估

评估跟踪器的传统方法是在整个测试序列中运行跟踪器，从第一帧中的地面真实位置开始初始化，并报告平均精度或成功率。我们将此作为一次评估( OPE )。然而，跟踪器可能对初始化很敏感，并且在不同的起始帧，不同的初始化会使它的性能变得更差或更好。因此，我们提出了两种方法来分析跟踪器对初始化的鲁棒性，一种是在时间上干扰初始化(即从不同的帧开始)，另一种是在空间上干扰初始化(即从不同的边界框开始)。这些测试分别被称为时间鲁棒性评估( TRE )和空间鲁棒性评估( SRE )。