DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING

这个工作是中科院王强博士的工作，也是第二个将特征提取网络和协同滤波网络级联到一起进行端到端训练的文献，在后续先后出现了CREST、FlowNet with temporal and spatial atttention等。

1. 论文的意义

判别滤波器目前是在线目标跟踪领域非常主流的方法。当前的发展方向主要是：

1. 在传统DCF基础之上进行多核等研究
2. 融合深度学习，从最开始的训练深度特征提取器到目前的基于网络的end-to-end设计
3. 更加细致的研究spatial-temporal regularization

王强博士这篇文章对理解end-to-end的DCF设计具有很好的参考意义。

在这片文章中，作者设计了如图一的轻量级的网络机构，同时完成卷积特征提取过程和在线协同滤波跟踪。特别之处在于，在一个孪生网络中Siamese network，作者将判别协同滤波器看陈特殊的协同滤波器层 special correlation layer， 王强博士也给出了详细的反向传播推导过程。因为推导仍然在傅里叶空间中进行，所以DCFNet保留了非常好的跟踪时效性（>60pfs）。

2.作者提出的网络框架

首先回顾了判别相关滤波器的基本原理，然后详细推导传播过程，最后作者介绍了在线跟踪过程，并从RNN的角度给出了一个合理的解释。

2.1. 判别式相关滤波器

在标准的判别式相关滤波器中，我们根据目标区域φ(x)∈M*N*D的特征 和 期待的高斯分布响应 y∈M*N训练一个判别式的回归函数。那么，期待的滤波器w可以通过最小化脊损失（ridge loss）获得：

☆代表循环相关，正是因为循环相关可以在傅里叶空间内进行快速运算，所以DCF才会具有非常高的时间性能。λ是正则化系数。

上面的公式可以求解，为：

^代表傅里叶空间，*代表复共轭，圈点代表hadamard product。

一旦我们构建好了滤波器就可以直接用于检测了，在后续过程只需要关注滤波器的跟新就好了（如何更新也是DCF研究的重点方向）。在检测过程中， 我们首先在新的一帧中剪裁寻找区域search patch， 然后提取这个patch的特征φ(z)，通过定位滤波器的最大响应就可以估计目标在前后两帧的平移，具体为：

2.2 DCFNet 推导：反向传播过程

传统的基于DCF的跟踪器只能试探性的精修超参数，而本文提出的网络结构可以同时精修特征提取部分的超参数和DCF部分的超参数。就像图一的网络结构图所示，本文通过级联特征提取网络和DCF模块得到目标的位置响应。当给定搜索区域patch的特征φ(z)， 目标响应~g应该在真实的目标位置得到一个更高的响应，所以目标函数可以设计为：

    

很明显，下面的公式是成立的：

因为前向通路的操作仅包含Hadamard乘积和除法，我们就可以按元素求偏导：

所以，检测阶段网络传播为：

学习阶段的网络传播为：

因为相关滤波层中的传播操作仍然是在傅里叶空间中进行的，我们可以保留DCF的快速跟踪特性。离线使用大量数据集进行测试，就可以得到一个功能定制的特征提取器为DCF在线跟踪。

2.3 在线模型更新：一种RNN的解释

在线跟踪过程中，我们只需要更新滤波器空间的傅里叶变换系数。所以传统的DCF优化问题可以写为一个增量模式：

同时，传统DCF的闭式解也可以拓展到时间序列：

增量更新的好处在于，我们不需要一个大的样本数据集，只需要很小的内存占用。作者也是把该该过程看成了一个RNN网络：

3.测试情况

特征提取层：VGG

训练视频：NUS-PRO、TempleColor 128、 UAV123；

作者研究了切除性影响ablation analysis 、尺度变换数量的作用