MOSSE论文笔记

MOSSE论文笔记

1.背景介绍

本文设计了一种新的相关滤波器，误差最小平方和（MOSSE）滤波器，当初始化视频中第一帧，就可以产生稳定的相关滤波器。在669fps的速度的时候，它对亮度，尺度，位姿和不严格的变形的鲁棒性比较好。

2.算法实现

基于滤波的跟踪就是用在模板图片上训练好的滤波器去对目标物体的外表建模。目标最初是基于以第一帧中的目标为中心的一个小跟踪窗口来选择的。从这点上来说，跟踪和滤波器训练是一起进行的。通过在下一帧图片的搜索窗口中去进行滤波来跟踪目标。滤波之后产生的最大值的地方就是目标的新位置。根据得到的新位置完成在线更新。

为了得到一个快速的跟踪器，滤波过程在频域下进行，首先，对图片进行傅里叶变换处理：F=F(f)，然后滤波器也进行傅里叶变换计算：H=F(h)，在频域上的卷积运算就变成了对应元素乘机的运算。频域上的卷积运算公式如下所示，*表示复共轭，⊙表示频域下的卷积运算。

得到的G通过反傅里叶变换映射回空间域。这个过程的核心就是计算傅里叶变换和反向傅里叶变换，这个过程的时间是O(PlogP),P是跟踪窗口中像素的数量。

Preprocessing

傅里叶卷积算法的一个问题就是，图片和滤波器经过傅里叶变换之后会被映射成类似花瓣的结构。在卷积的过程中，图片通过环形空间旋转，而不是像空间域中去平移。人工地连接图片的边缘会人为地影响输出。通过下面的操作会降低这种影响：首先对每个像素的灰度值进行log运算来帮助低对比度的情况。像素灰度值再被规范化成平均值为0，方差为1。图片再乘以一个余弦窗口来是图片边缘的值降为0。这也有一个好处，它把更多的重点放在接近目标的中心。

MOSSE Filters

         MOSSE是一种从少量训练图片来产生类似ASEF滤波器的算法。开始的时候，它需要一系列训练图片fi和训练输出gi。一般来说，gi可以是任何尺寸。在这种情况下，gi由ground true产生以便于它有一个(σ= 2.0)的二维高斯形状的高峰集中在训练图像f的目标中间。在傅里叶域中进行训练以便于可以利用输入和输出之间简单的元素对应运算。

         为了找到一个滤波器来使训练图片输出接近于ground true，MOSSE来找一个H使得实际输出和ground true输出之间误差平方和最小。问题如下：

         解决这个优化问题不难但是需要考虑一些情况。首先，每个H(下标是w和v)可以被独立地算出因为所有的地操作都是在频域上进行的。上面问题由下面公式解决：

         最后得到的滤波器就由下面公式算出：

Regularization of ASEF

ASEF采用了一种稍微不同的方法来最小化相关转换后产生的误差。它证明当有一个训练图片Fi和一个输出图片Gi，会有一个滤波器产生0误差。这个滤波器被叫做精准滤波器并且可以被下面的公式计算出。

在一张图片上训练的精准滤波器几乎总是过拟合。当这个滤波器应用到一个新的图片上时，它就会失效。用平均方法来产生滤波器是普遍的。ASEF滤波器如下所示：

如果只有一张图片用来训练，MOSSE和ASEF都会产生一个精准滤波器。

Filter Initialization and Online Updates

上面的公式描述了滤波器如何通过在初始化阶段被构造。用随机的仿射变换去生成第一帧的跟踪窗口的8个小的扰动（fi）。训练输出（gi）也由和目标中心相关的峰值生成。在追踪阶段，目标可能经常改变外观。因此，滤波器需要快速地适应来跟上物体。进行平均运算用来解决这个问题。例如，从第i帧学习到的ASEF滤波器按如下公式计算：

从第i帧学习到的MOSSE滤波器按如下公式计算：

3.总结

MOSSE是一种非常简单的跟踪方法，但是这种匹配方法有一定的缺陷，准确度不够，后面有多种方法进行改进