目标跟踪之ECO:Efficient Convolution Operators for Tracking

一. 相关滤波算法总结

       作者首先分析了 影响相关滤波算法效率导致过拟合 的几个原因:

1)Model Size (模型大小)

     包括两个方面:

         - 模型层数,对应多分辨率 Sample,比如多层 CNN

         - 特征维度,对应庞大的 HOG or CNN特征图

      这里的效率影响是显而易见的,层数或特征越多,表现力越丰富,计算量也相应的线性增加(如C-COT需要在线学习800,000个参数)。

      另外,也是作者一直Focus的问题,复杂模型带来的Over-Fitting问题,导致准确度下降。

2)Training Set Size(训练集大小)

      训练集 是指所用到的训练数据,只用到上一帧的数据进行计算,效率就比较高;如果要用到之前若干帧的数据进行训练(比如加权平均),效率就会低。

      保留训练集的优点在于,仅仅通过 online learning 会导致新学到的特征出错(比如遮挡),不足以表达正确的对象。

      PS:DSST 仅用上一帧Sample训练,但是是通过和之前模型累加,保留了前面若干帧的信息,在兼顾 训练集 的基础上确保了效率。

3)Model Update(模型更新)

      理想情况下,我们希望每一帧都进行模型更新,实时特征更新能够保证准确性,但同样会带来效率负担,探讨间隔帧模式下的模型更新策略是提高效率的一个思路。

       

二. ECO 方法引入

       针对相关滤波算法存在的上述问题,作者提出了 ECO 方法。

       论文下载:Efficient Convolution Operators for Tracking

       作者提出来三个 Contribution,对应上面三个问题的改进:

1)对卷积操作进行因式分解,减少模型参数

     Factorized convolution operator,通过提取特征子集来 进行降维。

2)简化了训练集生成,并保证Sample多样性

     提出 Generative Sample Space Model,将类似的 Sample 归并到一个 Component,训练样本从多个 Component 中选择。

3)改进模型更新策略

     采用新的 Model Update Strategy,将更新间隔(Ns)设为6,通过测试发现,稀疏更新策略能避免 模型漂移问题(Model Drift),提高速度和健壮性。


三. 算法概要

       针对上面三个方向进行展开,详细描述算法思路。

    > 3.1 Factorized convolution operator

        这篇文章最大的亮点 - 从论文命名也能看得出来,占据了最大的篇幅。

        算法基于C-COT,因此先亮出 C-COT 最关键的公式:

Point 1:提取连续特征

通过 t 进行插值,将特征图(Feature Map)转换到连续的空间域。得到的结果 J{x} 即为提取的特征。

        

Point 2:根据对应层相关滤波器 Filter (f)计算 Score

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第1张图片

Point 3:定义目标函数

     针对训练样本 xj 构造高斯函数 yj,通过 L2 Norm 构造最小二乘目标函数,并添加权值惩罚项 w,这都是比较常用的做法:

      

     通过 Parseval’s formula 进行傅里叶变换,得到:

        

Point 4:减少滤波器 (new)

     通过可视化发现,C-COT很多滤波器能量很小,对于结果其实是没什么贡献,因此提出方法 从 D个滤波器中选择贡献最大的C个,进行降维:

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第2张图片

      作者利用了卷积的线性特征,通过一个 D*C 的系数矩阵 P,将原来的 Score 函数进行如下变换

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第3张图片

      同样在原来的目标函数(公式4)基础上得到 新的目标函数(公式7):

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第4张图片

       其中 z = J{x},代入求共轭即得到公式(7),最后加入参数矩阵P的惩罚项,对应权值参数 λ。 

Point 5:目标函数求解(new)

      与原始的Loss函数不同,新定义的Loss公式(7) 是个非线性的最小二乘问题,双线性子项  使得该问题类似矩阵的因式分解问题

作者采用了 高斯牛顿法(Gauss-Newton)和 共轭梯度法(Conjugate Gradient)来求解。

      求解目标就是 根据输入的训练数据(或者叫训练特征) 得到使得 E最小的 滤波器 f,具体求解过程不再展开了。


    > 3.2 Generative Sample Space Model

        通过对 Sample 分类简化训练集,通过 高斯混合模型(GMM)将样本进行分类,得到不同的 Component:

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第5张图片

       来看对比:

a)图中上半部分是按照 GMM 得到的 Component 模型,不同 Component 之间差异比较大,采用这种策略选择样本能保证多样性;

b)下半部分是得到的连续帧的训练样本,相邻帧之间的样本近似度很高。

       根据 输入x 和输出 y 的联合概率分布 P(x,y),将原来的目标函数(论文公式3) 替换成下图下面部分(论文公式10):

                目标跟踪之ECO:Efficient Convolution Operators for Tracking_第6张图片

       进一步 将原来的 M个样本,替换为 L个(文中L=M/8) Component 的均值 μ,整理得到 公式(12)。

       关于 Component 的建立和替换策略也比较简单,假设我们 Total 要维护 L个Component,那么针对一个新的样本:

1)建立一个 New Component,总的 Component 数量+1;

2)如果 Component 数量超过 L 个,执行下面策略:

      a)将权值最低的 Component 进行替换;

      b)合并权值最低的两个 Component,合并方法如下:

        

       即 权值相加,均值加权求和


    > 3.3 Model Update Strategy

        模型更新 没什么好说的,间隔帧更新也是工程中经常会用到的方法,这里要提的一点是,关于更新频率取决于视频中待跟踪目标的运动速度,如果目标运动较慢,可以考虑采用间隔较大的方法处理,反之,速度较快的情况下(比如车辆)是不同的。

        

四. 实验效果

       来看和主流方法的对比(VOT2016 数据集),先来看几户是完爆 Top10 的 EAO 曲线:

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第7张图片

       再来看多个 衡量参数上的对比情况(几乎完胜):

        目标跟踪之ECO:Efficient Convolution Operators for Tracking_第8张图片

        EAO(Expected average overlap):跟踪框准确率第一,优化的特征降维 和 多样性样本 起了重要作用;

        健壮性 - Fail(Fail rate):失败率也很低;

        精确度 - Acc(Accuracy):精度第二名,仅次于 SSAT;

        速度 - EFO:手动特征选择的 ECO-HC(Hand-Crafted)效率最高,采用 HOG+Color Names,在 i7 CPU上可以跑到 60FPS,

                            采用CNN特征效率一般,在 GPU 上能跑到 8 FPS,也算不错了;

你可能感兴趣的:(深度学习,深度学习基础)