Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（ICCV2017）
思路很好
https://www.cnblogs.com/wangxiaocvpr/p/7525354.html

【Motivation】
当前的跟踪算法为了提高精度，往往会选择使用深度神经网络提升判别能力，但是精度的提升导致了计算量加大和速度的降低，本文在精度和速度上达到一种平衡。

【亮点】
在 tracking performance 和 efficiency 之间达到一种平衡。将 tracking 过程分解为两个并行但是相互协作的线程（Thread）：一个用于快速的跟踪（fast tracking）；另一个用于准确的验证（accurate verification），因此既实现了高精度又实现了高速度。

【Tricks】（实验证明了这些选择可以有效的提升精度和速度）
• 跟踪部分选择fDSST算法
• 验证部分使用Siamese network进行模板匹配，使用的是VGG特征提取网络，但是后面加了一个region pooling layer，用来同时处理多个尺寸的图像（如果在一个尺寸上搜索不到目标，则要放大搜索区域继续搜索验证），验证间隔为10帧
• 开启两个线程分别用来跟踪和验证（而不是一个线程，验证的同时跟踪还可以继续进行）

【PTAV框架】
PTAV 算法架构包括三部分：Base Tracker T，Base Verifier V，以及它们之间的协调环节。
对于 T，论文选择的是 fDSST算法，每帧都在进行跟踪。验证环节 V 则选择采用 Siamese network 验证目标之间的相似性。对于协调环节，T每隔10帧发送结果给 V，保证足够的时间验证。T和V是利用了不同的线程（Thread）异步工作的。

【算法具体流程】
论文中已经写的很清楚了，这里讲述一下大致流程：
（1）利用第一帧初始化T和V
（2）使用fDSST跟踪器进行跟踪（每一帧都进行，还要定期向V传送结果供V验证）
（3）验证器V使用的是Siamese network，V每隔十帧验证一次跟踪结果，如果验证得分低于阈值tao_1，证明跟踪失败，V使用Siamese网络重新检测目标，这次与验证不同，重新检测实在多个image patchs上进行的，选择最好的那个，判断其阈值是否大于阈值tao_2，如果低于阈值的话，不改变tracker的结果，而是减小验证间隔，增大验证范围（尺寸），局部搜索目标，一直到阈值大于tao_2为止，然后将这个验证结果传递给tracker。
从本地区域搜索正确答案并将其发送到T，T在收到反馈后，T停止当前跟踪，并用V提供的校正追溯到恢复跟踪。

【总体流程图】

【跟踪器工作流程图】

【验证器工作流程】

【实验结果】
本文在四个数据集上做了实验，并与start-of-art跟踪器做了对比，这里只列举了在OTB2013和OTB2015上的结果，综合来讲，PTAV是最好的（PS：KCF是真的快）

———————————————————————-分割线———————————————————————-
下面部分参考链接 http://www.sohu.com/a/225947255_500659

上述论文是发表在ICCV2017上的版本，随后作者又对其进行了一些改进，并发表在了2018 年 1 月 在 arXiv 上。以下是改进：
1. 使用更具有鲁棒性的跟踪器（Staple）提升性能。 （ICCV2017中用的是fDSST）
2. 动态目标模板池用于自适应验证，放置目标外观的变化。
3. PTAV 的 V 和 T 进行了多方面验证，比如 T 使用 VGGNet 和 AlexNet ，V 使用 KCF、fDSST 和 Staple。
4. 使用更多实时性算法和基准，进行更彻底实验验证和分析。