单目标跟踪——常用数据集和指标

单目标跟踪常用的数据集有两个:OTBVOT

两个数据集的评价指标不同。先大概介绍下两个数据集,再介绍评价指标。

一、数据集

1. OTB数据集

Online Object Tracking Benckmark

官网:Visual Tracker Benchmark

分为OTB50OTB100,表示数据集里的视频数量分别为50个和100个(OTB100包括OTB50)

特点:

  • 由25%的灰度数据和75%的彩色数据组成
  • 涉及到11个属性:光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、平面外旋转、出视野、背景干扰、低像素

关于该数据集的两篇论文 :

Online Object Tracking:A Benchmark

Object Tracking Benchmark

链接: https://pan.baidu.com/s/18TnATmYtM_jESa8TNHgqKA 

密码: 92nj

Online Object Tracking : A Benchmark 翻译

2. VOT数据集

Visual Object Tracking

数据集网址:VOT2021 Challenge |Dataset

数据集的使用:VOT Challenge| Setting up VOT workspace

特点:

  • 都是彩色数据
  • 从2013年开始,每年更新,部分年份会有重复

3. OTB与VOT的区别

  • VOT没有灰度数据
  • VOT标注更精细
  • VOT分辨率普遍更高
  • VOT从第一帧开始;OTB从随机帧开始,且矩形框初始化时加随机干扰
  • VOT强调检测、跟踪不分离;OTB强调初始化的鲁棒性(从时间和空间上扰乱真实目标位置的初始状态)
  • 评价指标不同

二、评价指标

1. OTB

1) 精确度图 Precision Plot

精确度图反映:中心位置误差小于给定阈值的视频帧的百分比曲线。

中心位置误差:跟踪的中心位置(bounding box)和准确的中心位置(ground-truth)之间的平均欧氏距离。

单目标跟踪——常用数据集和指标_第1张图片

横坐标:给定阈值

纵坐标:百分比

Precision:精度图中阈值为20时的值

APE(平均像素误差 Average Pixel Error):中心位置误差按帧取平均

2) 成功率图 Success Plot

成功率图反映:边框重叠率大于给定阈值的视频帧的百分比曲线。

边界框的重叠率(Overlap Score,OS:S = |γt∩γa | / |γt∪γa |,γt为跟踪的边界框,γa为准确的边界框,| · |指区域内的像素点个数。即:重叠率=两个边界框交集内的像素点个数/两个边界框并集内的像素点个数。

单目标跟踪——常用数据集和指标_第2张图片

横坐标:给定阈值

纵坐标:百分比

AUC:成功率图的曲线下面积

AOR(平均重叠率 Average Overlap Rate):边界框的重叠率按帧取平均

* Precision Plot和Success Plot都是从视频第一帧开始,且用ground-truth中目标的位置初始化。这种方法被称为OPE(One-Pass Evaluation)。 以下两种均为非OPE的评价方式。

3) 时间鲁棒性 Temporal Robustness Evaluation

将视频序列在时间轴上平均找出20个点作为起点,终点还是原来的最后一帧。以ground-truth作为初始化位置。通过对20段视频序列运行算法,绘制平均的精确度图或成功率图。

TRE score:以上结果的平均值

4) 空间鲁棒性 Spatial Robustness Evaluation

从第一帧开始,以真实位置稍作偏移作为初始化位置,测试12段(8个方向,4个尺度),绘制平均的精确度图或成功率图。

SRE score:以上结果的平均值

2.VOT

1) 准确率 Accuracy

在单个测试序列下的平均重叠率(即AOR),只考虑有效帧,即跟踪成功的帧。

2) 鲁棒性 Robustness

在单个测试序列下的跟踪失败的次数。重叠率为0即为跟踪失败。跟丢后序列中止,5帧后重启。

3) 等效滤波操作 Equivalent Filter Operations

用于衡量跟踪速度。为减少硬件平台和编程语言等外在因素对跟踪速度的影响,先测量在一个600*600的灰度图像上用30*30最大值滤波器进行滤波的时间,作为基准单位,再以这个基准单位衡量跟踪的速度。

EFO:speed = 跟踪算法耗时/滤波时间

4) 平均重叠期望图

反映序列长度与平均准确率的关系,同时考虑准确率和鲁棒性。将所有序列按长度分类,相同长度的序列测得的准确率取平均。以长度为横坐标,平均准确率为纵坐标绘图。

EAO(平均重叠期望 Expected Average Overlap):不同长度序列求得的准确率平均值再取平均

三、总结

VOT普遍质量较高,如果只能选一个数据集,建议VOT。

如果选OTB,不同算法间比较AUC、SPEED(fps)

如果选VOT,不同算法间比较EAO、A、R、EFO

你可能感兴趣的:(跟踪,目标跟踪)