常见单目标跟踪数据集[更新中...]

一、RGB单目标跟踪数据集

1.短时数据集

• GOT-10k [paper] [project]
  GOT-10k(Generic Object Tracking benchmark over 10,000 video segments.)是人工标注的用于单目标跟踪的大型数据集，分为训练集、验证集和测试集，分别包含9335，180，180个视频序列，平均序列长度约150帧。该数据集涵盖了563种物体，训练集和验证集提供了详细的标注信息，标注形式为 [x,y,w,h]，测试集中每个序列只提供第一帧的bounding box标注。评测方法使用AO, SR_0.50, SR_0.75和Speed (fps)，需将测试结果提交到其官网评测。
• TrackingNet [paper] [project]
  TrackingNet数据集包含训练集和测试集，训练集包含27种物体，有30312个视频，14205677个标注，平均每个序列约471帧，它是从YouTube Bounding Boxes(YTBB)¹中筛选出来的，因为YTBB以1HZ频率稀疏标注，为了提供每帧的真实标注，作者用固定间隔（30帧）的跟踪器结果填补这些没有真实标注帧的真值。测试集包含27种物体，它是从YouTube上筛选用 VATIC²工具标注并人工修正的，有511个视频，225589个标注，平均每个序列约441帧，标注形式为 [x,y,w,h]。评测方法使用Success, Precision和Normalized Precision，需将测试结果提交到其官网评测。
• UAV123 [paper] [project]
  UAV123数据集是人工标注的无人机场景视频，包含123个视频序列，共约110,000帧，每个序列平均帧长为915，标注形式为 [x,y,w,h]。UAV20L是长时数据集，包含20个序列，共58670帧，每个序列平均帧长为2934。评测方法使用Success plot和Precision plot。
• Nfs [paper] [project]
  NfS(Need for Speed)数据集包含240FPS和30FPS的视频序列。其中，240FPS视频序列是以240FPS的帧率捕获并用VATIC工具标注的100个视频，共383,000帧，平均每个序列帧长为3830，30FPS视频是从240FPS视频序列中每隔8帧采样提取的，标注形式为 [x,y,w,h]。评测方法使用Success rate和Precision rate。
• OTB2015 [paper] [project]
  OTB2015(OTB100)数据集包含100个视频序列，标注形式为 [x,y,w,h]，评测方法使用success plot和precision plot。

2.长时数据集

• LaSOT [paper] [project]
  LaSOT(Large-scale Single Object Tracking)是人工标注的用于单目标跟踪的大型数据集，包含1400个视频序列，平均每个视频序列长度2512帧。该数据集涵盖了70种物体，每种物体包含20个视频序列，每个视频序列提供了 [x,y,w,h] 的bounding box标注和一个自然语言描述。为了更好的衡量跟踪器，共引入14种不同的挑战，包括illumination variation(IV)、full occlusion(FOC)、patial occlusion(POC)、deformation(DEF)、motion blur(MB)、fast motion(FM)、scale variation(SV)、camera motion(CM)、rotation(ROT)、background clutter(BC)、low resolution(LR)、viewpoint change(VC)、out-of-view(OV)、aspect ratio change(ARC)，每个视频序列标注为其中的一种或多种。评测跟踪算法定义了两种数据集划分：1.1400个视频序列全部用来评测；2.1120个视频序列用于训练，280个视频序列用于评测，评测方法使用OPE，用precision, normalized precision, success在上述两种测试集和每个attribute上评测。
• OxUvA [paper] [project]
  OxUvA数据集是从YouTube Bounding Boxes(YTBB)中选出来的以1HZ频率稀疏标注的大型数据集，分为dev和test集，共包含337个视频序列和366个tracks，dev集有200个tracks，test集有166个tracks，平均每个track长度约为4235帧。该数据集涵盖了22种物体，dev中每隔30帧给出标注框，标注形式为 [x₁/w, x₂/w, y₁/h, y₂/h]，test只给出第一帧的标注框，需将test track上的测试结果提交到其网站上评测。评测方法使用TPR( True Positive Rate), TNR(True Negative Rate), GM($\sqrt{TPR\cdot TNR}$), MaxGM($\max \sqrt{((1-p)\cdot TPR)((1-p)\cdot TNR+p)}$, where 0 ≤ $p$ ≤ 1)。
• TLP [paper] [project]
  TLP(Track Long and Prosper)是从YouTube中收集的包含50个高清真实场景视频的数据集，共约676000帧，标注形式为 [x,y,w,h]。评测方法使用precision plot, success plot, LSM plot。

二、RGBT单目标跟踪数据集

• RGBT234 [paper] [project]
  RGBT234数据集包含234个视频集，共约233800帧，每个视频集包括该视频的RGB和热红外视频序列，序列中的目标位置分别手工标注，标注形式为 [x,y,w,h]，即左上角点和宽、高。该数据集引入No Occlusion(NO)、Partial Occlusion(PO)、Heavy Occlusion(HO)、Low Illumination(LI)、Low Resolution(LR)、Thermal Crossover(TC)、Deformation(DEF)、Fast Motion(FM)、Scale Variation(SV)、Motion Blur(MB)、Camera Moving(CM)、Background Clutter(BC)共12种attributes。整体评测方法采用MPR(maximum precision rate), MSR(maximum success rate), Accuracy, Robustness, EAO(expected average overlap), 每个attribute也用上述指标衡量。
• RGBT210 [paper and project]
  RGBT210数据集包含210个视频集，RGBT234为此数据集上的扩充版，共约210000帧，每个视频集包括该视频的RGB和热红外视频序列，序列中的目标位置统一手工标注，标注形式为 [x,y,w,h]。该数据集引入同RGBT234的12种attributes。整体评测方法同GTOT采用precision rate(PR)和success rate(SR)，每个attribute也用此两种指标衡量。
• GTOT [paper and project]
  GTOT数据集包含50个视频集，共约15800帧，每个视频集包括该视频的灰度和热红外视频序列，序列中的目标位置分别手工标注，标注形式为 [x1,y1,x2,y2]，即左上角点和右下角点。标注的被跟踪目标种类有4类，分别为车辆、人头、人和天鹅。该数据集引入Occlusion(OCC)、Large Scale Variation(LSV)、Fast Motion(FM)、Low Illumination(LI)、Thermal Crossover(TC)、Small Object(SO)、Deformation(DEF)共7种attributes。整体评测方法采用precision score和success score，每个attribute也用此两种指标衡量。
  更详细的数据集获取渠道可参考博客³。

References

---

1. YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video. [paper] ↩︎

2. Efficiently Scaling up Crowdsourced Video Annotation. [paper] ↩︎

3. 常见目标跟踪数据集下载链接整理（更新中) ↩︎