视频目标跟踪综述学习笔记

目标跟踪综述论文阅读心得

1、目标跟踪任务是什么？

​ 目标跟踪是计算机视觉领域的一个重要分支。目标跟踪就是在一段视频序列中定位感兴趣的运动目标，得到目标完整的运动轨迹。给定图像第一帧目标的位置，预测下一帧图像中目标的位置。

2、目标跟踪的主要部分：

1. 运动模型（Motion Model）：如何产生众多的候选样本。

   	生成候选样本的速度与质量直接决定了跟踪系统表现的优劣。常见的有粒子滤波（Particle Filter） 滑动窗口（Sliding Window） 半径滑动窗口（Radius Sliding Window）。
   
   论文中的结论：通常情况下，运动模型对性能的影响较小。然而，在尺度变化和快速运动的情况下，正确设置参数仍然是获得良好性能的关键
   

2. 特征提取（Feature Extractor）：利用何种特征表示目标。

   	鉴别性的特征表示是目标跟踪的关键之一。常用的特征被分为两种类型：手工设计的特征（Hand-crafted feature）和深度特征（Deep feature）。
   	常用的手工设计的特征有灰度特征（Gray），方向梯度直方图（HOG），哈尔特征（Haar-like），尺度不变特征（SIFT）等。
   	与人为设计的特征不同，深度特征是通过大量的训练样本学习出来的特征，它比手工设计的特征更具有鉴别性。因此，利用深度特征的跟踪方法通常很轻松就能获得一个不错的效果。
   	
   	论文中的结论：最佳方案(HOG +原始颜色)优于基本模型(原始灰度)20%以上。因此特征提取器是跟踪器最重要的组成部分。使用适当的特征可以显著提高跟踪性能。
   

3. 观测模型（Observation Model）：如何为众多候选样本进行评分。

   	大多数的跟踪方法主要集中在这一块的设计上。根据不同的思路，观测模型可分为两类：生成式模型（Generative Model）和判别式模型（Discriminative Model）。
   	生成式模型通常寻找与目标模板最相似的候选作为跟踪结果。判别式模型通过训练一个分类器去区分目标与背景，选择置信度最高的候选样本作为预测结果。
   	判别式方法已经成为目标跟踪中的主流方法，因为有大量的机器学习方法可以利用。常用的理论方法包括：逻辑回归，岭回归，支持向量机，多示例学习，相关滤波等。
   	
   	论文中的结论:当特征较弱时，不同的观察模型确实会影响性能。然而，当功能足够强大时，性能差距就会缩小。
   

4. 模型更新（Model Updater）: 如何更新观测模型使其适应目标的变化。

   主要采用两种方法：
   	1.第一种方法是每当目标的置信度低于阈值时更新模型。这样做可以确保目标始终有很高的信心。这是我们基本模型中使用的默认更新程序。
   	2. 第二种方法是每当目标和背景示例的置信度之间的差异低于阈值时更新模型。这种策略只是在正面和负面例子之间保持足够大的差距，而不是强迫目标具有高度的信心。当目标被遮挡或消失时，它可能会有帮助。
   
   	论文中的结论:尽管在论文中，模型更新程序的实现通常被视为工程技巧，特别是对于区分性跟踪器，但它们对性能的影响通常非常显著，因此值得研究。
   

5. 集成方法（Ensemble Method）：如何融合多个决策获得一个更优的决策结果。

   	集成方法有利于提高模型的预测精度，也常常被视为一种提高跟踪准确率的有效手段。可以把集成方法笼统的划分为两类：在多个预测结果中选一个最好的，或是利用所有的预测加权平均。
   	
   	论文中的结论:集成后处理器可以显着提高性能，特别是当跟踪器具有高多样性时。
   

6. 总结：

   ​ 首先，特征提取器是跟踪器中最重要的部分。 第二，如果特征足够好，观察模型就不那么重要了。 第三，模型更新程序可以显著地影响结果，但目前实现该组件的原则性方法不多。 最后，集成后处理器是非常通用和有效的。

3、目标跟踪的主要流程：

​ 输入—目标初始化—特征提取—目标模型—目标搜索—输出

4、目标跟踪算法的分类：

​ 1. 据其观测模型，我们将其分为生成式模型和鉴别式模型两种：

​ 生成式模型： 在原始影像帧中对目标按指定的方法建立目标模型，然后在跟踪处理帧中搜索对比与目标模型相似度最高的区域作为目标区域进行跟踪。如光流法，粒子滤波，Meanshift 算法、 Camshift算法等。

​ 判别式模型：（图像特征+机器学习）通过对原始影像帧，对目标及背景信息进行区分建立判别模型，通过对后续影像帧搜索目标进行判别是目标或背景信息进而完成目标跟踪。主要就是相关滤波和深度学习。

​ 早期目标跟踪算法：

​ （1）光流法

​ （2）Kalman滤波

​ （3）核方法

​ 基于相关滤波跟踪方法：

​ （1）MOSSE

​ （2）CSK

​ （3）KCF/DCF

​ （4）CN

​ （5）DSST

​ 基于深度学习的跟踪算法：

​ （1）MDNet

​ （2）TCNN

​ （3）GOTURN

​ 深度学习和相关滤波相结合：

​ （1）DeepSRDCF

​ （2）C-COT

​ （3）ECO（2017）

​ （4）SiamFC

​ （5）Siamese Net大爆发（2018，SiamRPN, SA-Siam-R）

​ （6）SiamMask（CVPR，2019）

​ （7）UPDT(2018,DCF+CNN)

​ 总结：相关滤波方法实时性好，深度学习准确性好，目前的研究方向朝着二者融合的方向靠拢。

5、目标跟踪任务的挑战：

• 遮挡（Occlusion）是目标跟踪中最常见的挑战因素之一：遮挡又分为部分遮挡（Partial Occlusion）和完全遮挡（Full Occlusion）。解决部分遮挡通常有两种思路：
• 形变（Deformation）也是目标跟踪中的一大难题：目标表观的不断变化，通常导致跟踪发生漂移（Drift）。
• 背景杂斑（Background Clutter）：指得是要跟踪的目标周围有非常相似的目标对跟踪造成了干扰，
• 解决这类问题常用的手段是利用目标的运动信息，预测运动的大致轨迹，防止跟踪器跟踪到相似的其他目标上，或是利用目标周围的大量样本框对分类器进行更新训练，提高分类器对背景与目标的辨别能力。
• 尺度变换（Scale Variation）：是目标在运动过程中的由远及近或由近及远而产生的尺度大小变化的现象。预测目标框的大小也是目标跟踪中的一项挑战，如何又快又准确的预测出目标的尺度变化系数直接影响了跟踪的准确率。
• 通常的做法有：在运动模型产生候选样本的时候，生成大量尺度大小不一的候选框，或是在多个不同尺度目标上进行目标跟踪，产生多个预测结果，选择其中最优的作为最后的预测目标。