关于视频运动分割

背景介绍

运动分割是一个很大的领域。基于看过的文献来说，主要包括两大类：第一类是基于背景建模的背景消除；第二类是基于运动信息的视频分割。本节主要对一部分内容进行一个总结。

基本描述

背景建模已经被研究的比较久，2004年有一篇SMC的会议论文[1]比较好的总结了那年之前的一些方法。主要的思路就是对每个像素建立一个模型进行预测。简单的模型有均值模型和median模型等。复杂一些的有高斯混合模型之类。另外，基于核密度估计的非参数化方法[2]也是一类很重要的方法，效果不错。高斯核的核密度估计和高斯混合体的区别在于，高斯混合模型中，每个高斯代表整体分布里的一种模式，所以的高斯都会随时间不断更新；而在核密度估计里面，每个数据点上都有一个高斯，其描述了这个数据点信息扩散的程度或者是对其他的影响，这些高斯的均值和方差只取决于附近的数据点，可以不需要随时间更新。再有一类就是对图象进行谱空间降维，通过特征值分解之类的方法。由于谱空间降维以后，背景信息(低频)会被保持的比较好，前景信息(高频)会被削弱，因此，通过特征值重构图象可以实现背景建模。建模之后就是进行预测，预测的方法主要是通过将新的像素值代入模型，判断其是否满足需要的阈值。也有人做更深入的分析，对于遮挡运动/物体和透明运动(即：阴影，光斑等），都可以通过图象叠加的方式来进行检测[3]。

视频分割包括很多内容。大部分方法主要依靠的是光流和颜色信息。一种做法就是将视频看作一个三维的数据，通过各种方法进行3D的聚类来实现分割。例如将Pedro的图分割方法扩展到视频上面。更简单一些的也可以通过光流信息寻找有运动差异的边缘从而检测不同运动方式的目标。另外一类是基于点跟踪的方法。这种方法可以追溯到90年代，Tomasi和Kanade的IJCV论文[4]中提到了使用矩阵分解的方法，从点跟踪数据恢复运动和结构。后来，这种方法有了各种的扩展，从恢复单个目标，发展到了多运动目标的检测和分割。后来，MIT的Teller等人发明了Particle Filter系统，对点轨迹的稳定性做了优化。09年的时候，Kanade的论文[5]在此基础上，根据静态背景的点跟踪矩阵应该满足秩3约束提出了一种基于ransac的前景目标检测方法。

同年，论文[6]也提出了一种基于非负矩阵分解的方法来检测运动目标，这个论文的思路来自一篇Nature的文章[6]。2010年，提出了著名光流算法的德国学者Brox使用他自己的光流进行点跟踪，并且提出了一种轨迹之间相似性的度量以及基于谱聚类的轨迹分割方法[7]。2012年的CVPR上，他的学生又提出了一种新的，基于高阶模型的距离度量方式[8]。这种方式和2010年的相比，优点在于不但能适应平移运动，也能适应旋转和缩放。缺点在于，十分消耗计算资源。

参考资料

[1]M. Piccardi. Background subtraction techniques: a review. In IEEE In ternational Conference on Systems, Man and Cybernetics, volume 4, pages 3099 – 3104 vol.4, oct. 2004.

[2] Ahmed M. Elgammal, David Harwood, and Larry S. Davis. Non-parametric model for background subtraction. In ECCV, ECCV ’00, pages 751–767, London, UK, UK, 2000. Springer-Verlag.

[3] Michal Irani, Benny Rousso, and Shmuel Peleg. Computing occluding and transparent motions. Int. J. Comput. Vision, 12(1):5–16, February 1994.

[4] Carlo Tomasi and Takeo Kanade. Shape and motion from image streams under orthography: a factorization method. IJCV, 9:137–154, 1992. 10.1007/BF00129684.

[5] Y. Sheikh, O. Javed, and T. Kanade. Background subtraction for freely moving cameras. In IEEE ICCV, pages 1219–1225, 2009.

[6] A. M. Cheriyadat and R. J. Radke. Non-negative matrix factorization of partial track data for motion segmentation. In IEEE ICCV, pages 865–872, 2009.

[7] Thomas Brox and Jitendra Malik. Object segmentation by long term analysis of point trajectories. In Perspectives in neural computing’10, pages 282–295, 2010.

[8] Peter Ochs and Thomas Brox. Higher order motion models and spectral clustering. In IEEE CVPR, 2012.

关于Image Engineering & Computer Vision的更多讨论与交流，敬请关注本博客和新浪微博songzi_tea.