目标跟踪入门了解

最近需要学习计算机视觉中的目标跟踪方面的内容，在学习前做了个调研，对该领域的主要发展做下总结。注意，这篇文章没有牵扯到具体算法的用法，只是对整体的一个概括。

介绍

目标跟踪是计算机视觉领域的一个重要分支，是模式识别，图像处理，计算机视觉，机器学习等学科的交叉研究，有着广泛的应用，如视频监控，虚拟现实，人机交互，图像理解，无人驾驶等。

目前的目标跟踪的通常任务是，在视频的第一帧给定一个目标的矩形框，然后后续这个矩形框紧跟着要跟踪的物体。不过，目标跟踪与计算机视觉中的图像识别，分割，检测是分不开的，通常跟踪是这些分割检测的最后一步。

研究

目标跟踪方向的论文可以关注计算机视觉的三大顶会 CVPR (Computer Vision and Pattern Recognition)、ICCV (International Conference on Computer Vision) 、ECCV (European Conference on Computer Vision)，另外网站 arXiv 也值得关注。

VOT Challenge是目标跟踪领域的赛事，类似于图形识别领域中的ImageNet挑战赛。这些赛事通常都是标准数据集的来源，所以VOT数据集是一个常用的目标跟踪数据集。此外，还有吴毅老师的论文出现的OTB数据集，包括OTB50 （指2013年的数据集，50个视频序列）和 OTB100（指2015年的数据集，100个视频序列），也是目标跟踪重要的数据集。

通常目标跟踪面临几大难点：物体变形，亮度变化，快速移动，背景干扰覆盖等，通常不规则的变化都是目标跟踪的难点，这也是在工业上未得到使用而需要解决的问题。其中最主要的三个难题分别是目标背景的变化、物体本身的变化、光照强度变化。

算法

目前公认的跟踪算法按照是否需要检测过程的参与，可以将其分为两类，一类是生成式，另一类是判别式，这和机器学习算法的分类有相似之处。

生成式算法通过描述目标的表观特征，处理当前帧与下一帧的关系。主要包括稀疏编码（sparse coding）、在线密度估计（online density estimation）等。它的缺点是过于关注目标本身，忽略背景信息，容易产生漂移现象。

判别式算法区分目标和背景，表现比生成式算法更为鲁棒，目前也是更为流行的研究方向。它包括目标的检测和跟踪，常被称为tracking by detection，目标检测指对于图像而言找出目标物体的位置，而目标跟踪对于视频而言在每时每刻都能够找出物体的位置，检测是跟踪的基础，目标检测是初始化目标，目标跟踪是连续估计目标状态。常见的算法包括多示例学习方法（multiple instance learning）、结构SVM（structured SVM）等。此外，大多数深度学习的算法也属于判别式方法。

目标跟踪算法也从传统的自行设计特征和分类器，向着现在的基于深度学习的端到端(end to end)算法发展。对于一个完整的目标跟踪流程来说，算法框架通常由检测窗口的选择，分类器的设计，特征的设计这三个来逐步进化的。

对于检测窗口来说，一开始采用的是滑动窗口（即穷举法），把一张图片所有的位置都用候选框从上到下，从左到右遍历，同时还要改变图片的大小来检测不同大小的物体。这种暴力方法效果不是很好，于是衍生出了 Selective Search 和 Region Proposal Network（RPN，区域候选网络），这些方法首先去除不是目标物体的区域，减少了搜索范围，同时减少了计算的时间消耗，并且精度更高。

而对于特征设计和分类器的设计来说，传统算法使用的特征是工作人员自己设计特征提取方法。通常选用的特征提取算法包括Harris，Haar，SIFT，HOG，有时还需要组合使用。分类器则选用的是 SVM，Adaboost，决策树等算法，选用分类器的原因是把目标跟踪问题当作一个分类问题来看待的，把待检测区域分为目标或者非目标。

深度学习不需要自己设计特征，它可以自己在数据中学习到目标的特征，同时也有自己的分类器，也就是说将寻找特征和分类结合在一起。深度学习的效果也是非常的好，在最近的图像比赛中，冠军都是使用深度学习来实现的。目前的深度学习算法包括R-CNN，Fast R-CNN，Faster Ｒ-CNN等深度分类方法，也包括 YOLO(you only look once) 和 SSD(single shot multibox) 等深度回归方法。

除了通用的跟踪算法外，还有对于特定物体的跟踪，例如人脸检测，行人检测等。除了单目标跟踪外，还有多目标跟踪，对多个目标持续的进行跟踪，目前也已经有针对多目标跟踪的赛事MOT，这也使得跟踪算法正在快速发展。

欢迎大家关注公众号“计算机视觉与机器学习”

计算机视觉和机器学习