跟踪篇（3）--对于Object Tracking Benchmark的理解

文章主要是使用OTB作为评测时，会产生很多图，包括测试方法的选择，所以还是有必要对这些评测方法进行系统的梳理的。论文的下载链接：https://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Wu_Online_Object_Tracking_2013_CVPR_paper.pdf。
主要是对Object Online Tracking: A Benchmark中进行一些总结。

一些背景知识啥的就不再赘述了，网上都可以百度到O(∩_∩)O

benchmark中被评估的算法和数据集

具体表格中的含义如下：
MU: model update 模型更新
FPS: frames per second 帧率

对于表达方式：
L：Local 局部
H：Holistic 整体
T：Template 模板
IH: Intensity Histogram 亮度直方图
BP: Binary Pattern 二值模式
PCA: Principal component analysis 主成分分析
SPCA: Sparse PCA 稀疏主成分分析
SR: Sparse Representation 稀疏表示
DM: Discriminative model 判别模型
GM: Generative model 生成模型

搜索机制
PF: Partical Filter 粒子滤波
MCMC: Markov Chain Monte Carlo 马尔科夫链蒙特卡洛法
LOS: Local optimum search 局部最优搜索
DS: Dense sample search 密集采样搜索

代码类型Code
M: Matlab
C: C/C++
MC: Matlab和C/C++混编
suffix E: executable binary code 可执行二进制代码

测试序列的特征

属性	描述
IV	Illumination Variation(光照变化)-目标区域内的光照剧烈变化
SV	Scale Variation(尺度变化)-视频中第一帧和当前帧的边界框尺寸之比的范围超过[1/ts, ts], ts>1 (ts=2)
OCC	Occlusion(遮挡)-目标被部分或全部遮挡
DEF	Deformation(形变)-非刚体目标发生形变
MB	Motion blur(运动模糊)-目标或相机的运动导致目标区域变模糊
FM	Fast Motion(快速运动)-ground truth的运动大于tm个像素点（tm=20）
IPR	In-Plane Rotation(平面内旋转)-目标在图像平面内发生旋转
OPR	Out-Of-Plane Rotation(平面外旋转)-目标在平面外发生旋转
OV	Out-of-View(超出视野)-目标的一部分离开视野
BC	Backgroud Clutters(背景凌乱)-目标附近的背景具有和目标类似的颜色或纹理
LR	Low Resolution(低分辨率)-ground truth边界框内的像素点个数少于tr(tr=400)

下图是整个测试 数据集的属性分布

评估方法

这个其实是重头戏！
文中主要是使用精度和成功率做定量分析的。

精确度图： 跟踪精度评估时主要使用的标准是中心位置误差，定义为跟踪目标中心位置和手工标定的准确位置之间的欧氏距离，一个序列中所有帧的平均中心位置误差被用于概括跟踪算法对该序列的总体性能。但是，当跟踪器跟丢时，输出的位置是随机的，所以上述的平均误差值可能无法正确估算跟踪的性能。最近使用的主要是精确度图，精确度图能够显示出评估的位置在给定的准确值的阈值距离之内的帧数占总帧数的百分比。对于每个跟踪器具有代表性的精度评分，使用的阈值为20个像素点。

成功率图： 主要是指边界框的重叠率，假设给定的边界框是$r_t$,真实值的边界框是$r_a$,则重叠率则被定义为：$S=\frac{|r_t\cap r_a|}{|r_t\cup r_a|}$,其中$\cap$和$\cup$分别表示两个区域的交集和并集，$|.|$表示的是区域内像素点的个数。为了测试跟踪器在视频序列中的性能，我们需要计算重叠率$S$大于给定阈值$t_o$的成功帧的数量，成功率图给出了阈值从0到1变化是成功帧所占的比例。使用某一特定阈值，如$t_o=0.5$下的成功了下来评价跟踪器可能并不公平，所以在文中使用的是成功率图的曲线下面积（AUC）作为替代，用于给跟踪算法进行排序。

鲁棒性评估

传统方式（OPE，一次通过评估）： 根据第一帧中的准确位置进行初始化，然后在一个测试序列中运行算法，最后得出平均精确度或成功率的结果。但是，跟踪器可能对初始化非常敏感，并且在不同的初始帧给与不同的初始化会使得性能变好或变差，所以又存在下面两种方式来评估跟踪器对初始化的鲁棒性。

时间鲁棒性评估（Temporal robustness evaluation, TRE）: 给定一个标记了目标准确边界框的初始帧，跟踪器被初始化后运行到序列结束。运行的序列是整个序列的子集，跟踪器会在每个序列的片段上进行评估，并且整日的数据也会记录下来。在实验中，将每个序列选择20个不同的帧作为初始位置，然后运行视频序列。

空间鲁棒性（Spatial robustness evaluation, SRE）: 文中，作者在第一帧通过移动或缩放准确的ground truth来抽取初始化边框。文中使用了8种空间位置上的便宜，包括4种中心偏移和4种角偏移，还有4中尺度变化。偏移量为目标尺寸的10%，尺度比例变化可取0.8，0.9，1.1和1.2。因此，对于SRE,需要对每个完整的序列测试12次。

其他的一些都是文中的细节，小伙伴们可自行阅读O(∩_∩)O