Mean Shift Tracking: 2000-2012回顾 (新论文更新)

Mean Shift跟踪从2000年被提出至今已经经历了十余个年头，从被大量灌水到如今不屑被拿来作为比较算法，经历了辉煌高潮的 Mean-Shift based Tracking正在慢慢淡出主流tracking研究的视线。但是，作为一种轻量级、易实现的算法，用它作为视觉跟踪研究的入门还是相当推荐的。

本文回顾Mean Shift跟踪从提出、发展至当前“停滞”状态过程中出现的一些经典论文，旨在为后续学习者提供一份还不错的reading list。希望通过阅读以下文章，快速了解Mean Shift跟踪发展的几个方向，以及视觉跟踪将应对的几个难点。下文中不会对Mean Shift跟踪进行原理性讲解，试图通过本文了解算法原理的读者请自行绕道。

 

当然，首当其冲是Dorin Comaniciu提出Mean Shift跟踪的两篇文章（会议论文和对应的期刊）：

[1] Dorin Comaniciu, Visvanathan Ramesh, Peter Meer. Real-Time Tracking of Non-Rigid Objects Using Mean Shift. CVPR, 2000.

[2] Dorin Comaniciu, Visvanathan Ramesh, Peter Meer.Kernel-based object tracking. TPAMI, 2003.

 

在Dorin Comaniciu挖下这个大坑后，随后国内外无数研究者争相往其中灌水。以下挖掘了几篇论文作为后续研究的代表。

将空间颜色直方图作为目标表观，然后在MS tracking框架下得到改进的算法：

[3] S.T Birchfield, Sriram Rangarajan. Spatiograms versus histograms for region-based tracking. CVPR, 2005

 spatiogram, nb表示颜色（直方图）索引为b的像素数量，ub和∑b分别表示对应像素点空间分布的均值和协方差矩阵

histogram:

 

尺度自适应一直是跟踪算法的难点，在Mean Shift跟踪中解决尺度问题一般从推导过程进入，所以这类文章的数学推导略难：（也有些方法是借用一些“外部”手段，比如特征点的提取-匹配来获得尺度信息）

[4] Robert T. Collins. Mean-shift blob tracking through scale space. CVPR, 2003.

[5] Zoran Zivkovic, Ben Krose. An Em-like algorithm for color-histogram-based object tracking. CVPR, 2004.

[补充] Tomas Vojir, Jana Noskova, and Jiri Matas.Robust Scale-adaptive Mean-Shift for Tracking. SCIA 2013. (best paper) (论文几乎破纪录地在40+段视频上与TLD在内的几个Tracking-by-detection方法进行了对比，报道效果还是比较让人意外的)

 

 

目标表观的多特征选择（这也是篇高引用的论文，很多人将它视为Online learning for tracking的开端）：

[6] Robert T. Collins, Yanxi Liu, Marius Leordeanu.Online Selection of Discriminative Tracking Features. TPAMI, 2005.

下图表示目标在不同颜色特征描述下与背景的区分度

 

目标分块，以适应遮挡的情况：

[7] J. Jeyakar, R.V. Babu, K.R. Ramakrishnan. Robust object tracking with background-weighted local kernels. CVIU, 2008.

 

 

目标直方图的更新，与经典的线性加权不同，下文使用了Kalman filter对每个bin进行滤波更新：

[8] Peng NingSong, Yang Jie, Liu Zhi. Mean Shift blob tracking with kernel histogram filtering and hypothesis testing. Pattern Recognition Letters, 2005.

 

目标多特征，这里推荐两篇中文文献。一类只考虑候选模板（直方图）与参考的相似度，另一类考虑与背景的鉴别性来调整特征权重（以下两篇都属于后者）：

[9] 王永忠,梁彦,赵春晖等.基于多特征自适应融合的核跟踪方法.自动化学报,  2008.

[10] 袁广林, 薛模根,韩裕生等.基于自适应多特征融合的Mean Shift目标跟踪.计算机研究与发展, 2010.

 

快速移动目标：

[11] Chunhua Shen, Brooks M.J, van den Hengel A. Fast Global Kernel Density Mode Seeking: Applications to Localization and Tracking. TIP, 2007.

[12] Li ShuXiao, Chang HongXing, Zhu ChengFei. Adaptive pyramid mean shift for global real-time visual tracking. Image and Vision Computing, 2010.

[补充] Shu-Xiao Li, Ou Wu, Cheng-Fei Zhu, and et al. Visual Object Tracking using Spatial Context Information and Global Tracking Skills. CVIU, 2014. (作者提出一种观点：precise model + less precise candidate enclosing the object. 通过增加candidate model覆盖的图像范围来使weight image的显著性提高。另外，就是比较常规的使用背景模型来做抑制，作者用一种类似最大化margin的思想来完成推导。PS: 与[12]是同作者)

 

最后，我押宝它是Mean Shift跟踪在Top期刊上的绝唱，它采用“积分直方图”（并不是那种积分直方图，你懂得）的方式克服光照等影响带来的模型漂移：

[13] Ido. Leichter. Mean Shift Trackers with Cross-Bin Metrics. TPAMI, 2012.