Understanding and Diagnosing Visual Tracking System

Abstract：
数据集是否有助于理解和诊断一个算法的优势和缺点仍然存在疑问。作者将一个跟踪算法分为五个部分：motion model、feature extractor、observation model、model updater、ensemble post-processor。得到的结果是：feature extractor 最一个跟踪器的性能起的作用最大。

主要数据集
OTB2013，OTB2015
VOT13,14,15,16,17

3.our proposed framework
1）motion model：基于上一帧目标的位置和尺度，产生可能包含目标的candidate regions 或者 bounding boxes。
2）feature extractor：提取候选区域的特征。
3）observation model：根据提取的特征，判断一个候选区域是否是跟踪目标。
4）model updater：控制模型跟踪的策略和频率。
5）ensemble post-processor：组合多个跟踪器。

跟踪流程.png

跟踪过程：
1）在第一帧中初始化observation model。（这算是属于在线更新模型了，一些跟踪算法，observation model会实现训练好，然后直接用）。
2）后续帧中，motion model基于上一帧确定的目标位置和尺度，决定候选区域。（两帧间，目标物体的尺度变化一般不会太大，当然，超速远去的情况下，目标的位置和尺度都变化很大）
3）候选区域经feature extractor 提取特征后，输入到observation model中，决定该候选区域是目标区域的概率，选择概率最大的候选为最终的预测目标位置和尺度。
4）根据observation model最终的输出，决定有没有必要更新observation model。
5）若有多个跟踪器，组合各个跟踪器的预测，得到最终的预测。

4、Validation Setup
4.1.setting
使用OTB2013数据集。
评估指标：
1）预测目标的bounding box和ground truth的重叠率。（考虑了目标的尺度和位置）
2）预测目标的中心位置和ground truth的距离。（考虑了中心位置，而忽略了尺度）

不同的算法间，主要在两方面进行比较：精度（最好是IoU，因为考虑了位置和尺度）和速度（fps，帧数/秒），个人观点。

4.2.Basic Model
motion moedl： particle filter framework 粒子滤波框架
feature extractor：raw pixels of grayscale images
observation model：logistic regression
model updater：所有候选区域的最高分低于某一个阈值，更新model
resemble post-processor：考虑单个跟踪器

由上面组合的简单的组合的跟踪器，在OTB2013数据集上也能达到中等水平的结果。

figure2.png

5.Validation And Analysis

5.1.Feature Extractor
feature extractor的作用是：将图像的原始像素转为包含更多信息的表达。
常用特征
raw grayscale
raw color
harr-like feature
hog
hog + raw color
还有更为强大的特征，如CNN提取的特征，但是，对于跟踪领域，速度太慢。既然特征起着决定性的作用，那么，采用CNN提取的特征是一种很好的选择，现在有一个突破口就是就是提高CNN feature extractor跟踪算法的速度问题；但要保证速度和精度都高。

5.2.Observation Model

raw grayscale

HoG+raw color

不同特征间的差异（表达目标物体信息量的差异）：外形、颜色。。。

6.Limitations of Current Framework
1）、在很多跟踪算法中，几个部件会组合在一起。
2）、文章没有考虑速度。

7、Conclusion and Future Work
“God is in the details.”
— Ludwig Mies van der Rohe

注明：没有重复论文中在OTB2013中的实验。
其实，单个部件，不同类型的选择或许对算法整体有帮助，但是，不同部件间的有机组合对算法的性能或许也有很大的帮助。整体和部分的关系。
观点不一定对，但是有很多值得我们思考的问题。