目标跟踪学习系列二：semi-supervised online boosting for robust tracking 阅读

文章：Semi-supervised on-line boosting for robust tracking

Helmut Grabner,  Christian Leistner,  Horst Bischof   Computer Vision–ECCV 2008, 2008 - Springer

    作者是online boosting的作者。写这篇文章是因为on-line boosting存在一个明显的问题：drifting。每一次对分类器更新所用的样本是上一次得到的结果，即：tracker框出来的部分是正样本，tracker之外的背景是负样本。每一个错误的累加完全可能使得这个tracker得到的结果已经错误。因此，便产生了drifting问题。文章的提出真是要解决这个问题。

   

     文章中提到，视频跟踪中的 这个tracker 要不然就要提前知道每种变化的形态 （这个样的结果就是tracker很复杂），这也就是他所说的 fixed tracker； 要不然就要适应不断变化的背景，这就是所谓的adaptive tracker。 要自适应 ，那么对于在线的跟踪，漂移（drifting）是最大的问题 ：每一次我们更新我们的tracker的时候都会有新的错误的引入（introduced）。解决的办法：1、template tracker    2、geometric model   效果都不是很好。

    但是本文explore the continuum between fixed tracker and online learning methods 提出： semi-boost 用于跟踪的算法。分别克服了fixed tracker 适应能力差，online tracking drifting的问题。

    接下来文章回顾了2006年cvpr的那篇文章中的： boosting算法 和boosting算法用于特征选择（具体的参见上一篇online boosting tracking 阅读）。这个是整篇文章的基础；

    然后介绍了：offline semi-supervised boosting还有 semi-supervised on-line boosting for feature selection；

1、off-line semi-supervised boosting

     semi-Boost 是结合了graph theory和clustering以及其他方法而形成的算法。基本的思想是：将无标签的样本扩展到loss function（the basic idea is to extend the loss function with unlabeled data）。

    为了实现上面说的将unlabeled sample extend into loss function 。于是，引入了一个叫相识度量的量：S（xi，xj），用它来表示两个sample的相识度。

    然后，再引入两个叫做：confidence的量：p（x)和q（x）。分别用来表示一个unlabeled sample x 属于正样本和负样本的置信度（很显然：p（x）- q（x）>0 则可以认为这个样本是正样本（这被认为是它的 伪样本 标签）相反就表示负样本），同时也用 p（x）- q（x）的绝对值表示这个样本的权重。而这两个量都和所有的有标签、无标签的样本有关系，同时还和S（xi，xj）有关系。

    最后，我们将这些带有伪标签的样本和labeled samples 一起进行boosting迭代，得到一个强分类器。（论文上的公式看起来比较复杂，还是可以定性的理解的）

2、semi-supervised on-line boosting for feature selection

    on-line 方法基本思路一样，将无标签的样本扩展到损失函数（the basic idea is to extend the loss function with unlabeled data ）。也就是说，我们只要我们给unlabeled sample 确定一个伪标签和一个权重就可以继续往下做了。

    但遇到的问题是：上面的公式中的p（x）和q（x）等的计算需要知道所有的labeled and unlabeled samples。但是在online中我们不能得到所有的训练集（since we are in a pure on-line setting we can not access the whole training set！）。于是，我们必须对unlabeled sample进行估计。

按照步骤来说：

    首先，对于labeled sample 来说，直接使用 on-line boosting for feature selection approach；

    然后，对于unlabeled sample 想办法得到他们的伪标签和权重，再使用上面的方法继续下去。

    所以p（x)和q（x）求解就是关键。因为p（x)和q（x）和S（xi，xj）有关，而有参考文献中提到：S（xi，xj）又约等于H（xi，xj）（H是强分类器）。于是，通过给定的labeled sample再学习到一个叫做H+（x）的分类器，它可以来估计S（xi，xj）。最终就可以将p（x)和q（x）表示出来了。也就可以得到 伪标签和权重了 （当然 这个过程中使用到了一个假设：unlabeled sample的个数趋于无穷）。

    总结：在semi-supervised on-line boosting 中的具体步骤是这样的：首先，假设在第一帧中得到的跟踪结果是正确的，将这个结果作为正样本，连同随机从背景中得到的负样本，初始化一个分类器；利用这个分类器一个像素一个像素（？）的检测，找到一个响应值最高的地方作为这个被跟踪的物体最可能出现的位置（considered to be the new object position）；将tracker中得到的样本分解为小的patch块，作为unlabeled sample（以前的方法是直接将它作为正样本）；使用前面的方法计算出这些patch块的伪标签和权重；使用on-line boosting的方法更新分类器，如此不停的迭代。