OTB评估指标

OTB 可以用来衡量你的目标跟踪算法好坏，它包含一些 benchmark 结果，打好标记（即ground-truth.txt )的数据集，以及一个用来测试你的算法的代码库。

数据集包括50帧的序列和100帧的序列，其中50帧序列的数据集是2013年提出来的，100帧的数据集是2015年提出来的，所以OTB50也叫OTB2013，OTB100也叫OTB2015，相关的数据集和测试代码库都可以在 http://cvlab.hanyang.ac.kr/tracker_benchmark/下载。

不同的数据集还标有不同的属性，这些属性可以代表目标跟踪领域的常见难点。例如，IV（Illumination Variation）表示光照变化，SV（Scale Variation ）表示尺度变化，OCC（Occlusion ）表示遮挡，DEF（Deformation ）表示变形，MB（Motion Blur ）表示运动模糊，FM（Fast Motion）表示快速移动，IPR（In-Plane Rotation）表示平面内旋转，OPR（Out-of-Plane Rotation）表示平面外旋转，OV（Out-of-View ）表示离开视野，BC（Background Clutters ）表示相似的背景，LR（Low Resolution）表示低的分辨率。

精确图 precision plot

追踪算法估计的目标位置（bounding box）的中心点与人工标注（ground-truth）的目标的中心点，这两者的距离小于给定阈值的视频帧的百分比。不同的阈值，得到的百分比不一样，因此可以获得一条曲线。

该评估方法的缺点：无法反映目标物体大小与尺度的变化。

成功率图 Success Plot

首先定义重合率得分（overlap score，OS），追踪算法得到的bounding box（记为a），与ground-truth给的box（记为b），重合率定义为：OS = |a∩b|/|a∪b|，|·|表示区域的像素数目。当某一帧的OS大于设定的阈值时，则该帧被视为成功的（Success），总的成功的帧占所有帧的百分比即为成功率（Success rate）。OS的取值范围为0~1，因此可以绘制出一条曲线。

OPE

用ground-truth中目标的位置初始化第一帧，然后运行跟踪算法得到平均精度和成功率。这种方法被称为one-pass evaluation (OPE)。

鲁棒性评估（SRE，TRE）

通过从时间（temporally，从不同帧起始）和空间（spatially，不同的bounding box）上打乱，然后进行评估。可以分为：temporal robustness evaluation (TRE) 和 spatial robustness evaluation (SRE)。

在一个图片/视频序列中，每个跟踪算法从不同的帧作为起始进行追踪（比如分别从第一帧开始进行跟踪，从第十帧开始进行跟踪，从第二十帧开始进行跟踪等），初始化采用的bounding box即为对应帧标注的ground-truth。最后对这些结果取平均值，得到TRE score。

由于有些算法对初始化时给定的bounding box比较敏感，而目前测评用的ground-truth都是人工标注的，因此可能会对某些跟踪算法产生影响。因此为了评估这些跟踪算法是否对初始化敏感，作者通过将ground-truth轻微的平移和尺度的扩大与缩小来产生bounding box。平移的大小为目标物体大小的10%，尺度变化范围为ground-truth的80%到120%，每10%依次增加。最后取这些结果的平均值作为SRE score。

以上，就是OTB评估的几个指标。

欢迎大家关注公众号“计算机视觉与机器学习”

计算机视觉和机器学习