【小白笔记】目标跟踪MFT论文笔记

019年第一篇博客，给大家带来一篇VOT18跟踪排名top的算法MFT，该算法的文章的前身是ICCV17的CFWCR， 现在投了CVPR19，总结这个算法性能算是相关滤波框架的巅峰了，但是技巧有余，创新不足。不对的地方欢迎讨论~? 论文地址,? 项目地址

1 主要贡献

第一，整个工作是基于ECO代码的修改，加入了运动估计，就是远古的卡尔曼滤波的一套；
第二，把深度模型换成了ResNet，目的是可以使用区分度更大的不同层的特征，作者使用了其中三层，分别代表浅中深；
第三，每个层的特征单独去训练相关滤波的模板；
第四，学习融合系数，就是训练时解一个二次函数得到三个系数作为检测时的响应加权系数。

2 跟踪框架

如图所示，跟踪时首先由一个运动估计模块得到一个中心位置的估计点然后以该点为中心生成cos窗，直接乘上提取的三层特征，然后分别送入3个独立的CF分支中，即这三个分支的滤波器是分别学的，得到三个响应图，最后乘上自适应权重模块学习到的加权系数得到最终响应，就可以得到当前帧的估计位置，尺度估计使用了和ECO一样的SAMF方法。CF的求解不是本文的重点，因为每一个分支的CF求解和ECO是一样的，更新策略也是一样的，只是参数有不同。所以文章相比ECO多了在运动估计和自适应权重，另外就是精心挑选的三种深度特征了。下面分别介绍。

2.1 运动估计

卡尔曼滤波方法被用作运动估计的手段，这是很久远的方法了，而且从消融实验看这个模块对整体性能的提升也极为有限。下面稍微复习一下?卡尔曼滤波。总体上来讲，卡尔曼滤波的步骤大致分为两步，第一步是时间更新，也叫作先验估计，第二步是量测更新，也叫作后验估计，而当前的卡尔曼滤波过程的后验估计结果不仅可以作为本次的最终结果，还能够作为下一次的先验估计的初始值。数学本质上就是解两个高斯分布(分别以上一刻的状态和当前观测状态构成的两个高斯分布)的乘积的高斯分布的均值和方差，实际上就起到了一个平滑的作用，作者这里把CF预测的结果作为观测状态，上一帧的结果作为初始状态，在得到的新的预测状态的二位坐标上，以其为中心生成cos窗乘上搜索域的特征，然后再预测目标的位置，这样就能得到更加鲁棒的结果(理论上)，在已经公布的代码中没有看到相关代码，所以卡尔曼滤波里面设定的噪声向量和噪声协方差矩阵是未知的，欢迎补充。

2.2 特征选择

没啥好说的，作者选择了ResNet的Conv1x, Res3d和Res4f层的特征，覆盖了浅层中间层和深层的特征，判别性和鲁棒性当然是比VGG-M的特征强的。

2.3 独立的CF

也没啥好说的，具体就是根据三个特征分别独立训练三个ECO那样的滤波器f，训练频率也是和ECO一样隔帧进行提高鲁棒性减少计算量，不懂的直接去看ECO论文就行了。

2.4 自适应加权系数

在求出所有的滤波器模板f之后，再学习每个滤波器对应的权重，这样在检测阶段可以更有效的混合多层特征的响应，具体做法如下

这里E代表loss，即

写成矩阵的形式如下

E都是可以算出来的，所以就相当于求解多元二次函数，交给工具包算就行了。
另外尺度估计和ECO一样也没啥好说的，不过参数有调整，层数改成了10，step改成了1.03。

3 实验

实验细节方面，作者也用了PCA对深度特征进行降维，应该也用了聚类的更新策略，训练样本量为50，隔6帧训练一次，并对不同特征设置了不同带宽的高斯窗缓解边界效应。
VOT上的实验进行了16，17和18隐藏数据集的实验(这种测试对端到端训练的Siamese系列是不利的)都刷到了第一，OTB的实验超过了ECO但是没有和UPDT比较。

3.1 消融实验

很有意思，影响最大的是多层特征独立训练的方法和ResNet主干网络的更换，这也是符合预期的。反而新增的自适应权重和运动估计的提升就不大了。速度没提，是远远达不到实时的，这篇工作也让我们看到了相关滤波跟踪的顶峰了。