论文笔记-End-to-end representation learning for Correlation Filter based tracking

题目：End-to-end representation learning for Correlation Filter based tracking
来源：CVPR2017

代码：https://github.com/bertinetto/cfnet

相关滤波速度很快，但精度却没有那么高。利用纯粹的深度学习虽然在精度上很高，但速度上却显得有些吃力，一直想着怎么把两者做个结合，达到跟踪器超赞的运行效果。Luca大神已经实现了这一想法，有code，怪不得这个领域发展迅速，大牛就是多，懂理论又知实践。

所以有想法一定要赶快做哈！

本文将相关滤波与深度学习相结合，很新颖，其算法达到了state-of-the-art的效果。

核心图：

1. Introduction

深度神经网络是在CV领域的一个超强的图像表示的学习工具。遇到的最大的问题就是training data的数量缺少和需要学习大量的参数。可能拥有在线的适应网络会对这一情况有所改善。替代策略是使用在线学习方法，如相关过滤器。

The CFis an efficient algorithm that learns to discriminate an image patch from the surrounding patches by solving alarge ridge regression problem extremely efficiently。

相关滤波器离不开快速傅立叶变换，同时这也是相关滤波器速度很快的原因。

要是能把CF在线的有效学习能力与CNN离线阶段的特征判别能力结合在一起就好了。在之前的工作中，CF与CNN是分开的，CF只用到了预训练CNN特征的顶层（top），没有进行这两种方法的整合。现如今，在这篇paper中。对这两种方法进行整合。方法是把CF作为CNN的一个特别的层。

经过调查研究发现，CF并不能针对足够深的网络提高网络的结果，但对于拥有几千个参数的轻量级网络效果还是不错的。

2. Related work

CF很流行啊。我们介绍的相关过滤器层是相当于将解决方案计算到正则化的去卷积问题，而不是与有时被称为“反卷积层”的上采样卷积层相混淆。我们的问题有一个封闭式的解决方案，由于相关滤波器采用二次正则化，而不是1范数正则化。

This paper propagates gradients through a conventional learning problem that is already widely used.

3. Method

方法往往是paper的核心啦，有很多数学公式表达，不过这也是最有趣的地方。

在介绍CFNet之前，作者先介绍了2个内容：Fully-convolutional Siamese networks和Tracking algorithm。之后又讲了相关滤波器。

各个章节总结如下：

3.1. Fully-convolutional Siamese networks

对FC-Seamese这个网络中所涉及的核心思想做个公式描述，说了搜索策略的核心思想即为达到这个目标：The goal is for the maximum value of the response map to correspond to the target location.，随后列出了最小化误差的公式。

3.2. Tracking algorithm

The network itself only provides a function to measure the similarity of two image patches. To apply this network to object tracking, it is necessary to combine this with a procedure that  describes the logic of the tracker.

原始的FC Siamese网络只是简单的于每帧比较先前物体的初始化外观。而现在不一样了，我们采用了新方法，即每帧搞出一个新模板，并与之前的模板做结合。

3.3. Correlation Filter networks

3.4. Correlation Filter

We now show how to back-propagate gradients through the Correlation Filter solution efficiently and in closed form via the Fourier domain.

公式看原文！

4. Experiments

实验很充分。最后证明本文的方法达到了state-of-the-art results

具体怎么做的，略。看原文吧。

5. Conclusion

这项工作提出了CFNet可以通过在线学习算法优化底层特征表示。这使得建立有效的为循环方程组的求解而用到的反向传播图成为了可能。