论文阅读笔记--SiamFC--Fully-Convolutional Siamese Networks for Object Tracking

Paper: http://www.robots.ox.ac.uk/~vedaldi/assets/pubs/bertinetto16fully.pdf

Code-1: https://github.com/rafellerc/Pytorch-SiamFC (PyTorch Implementation)

Code-2: https://github.com/StrangerZhang/SiamFC-PyTorch (Train and Testing)

Code-3: https://github.com/got-10k/siamfc (Training and Testing PyTorch code from GOT-10K tracking benchmark)

Project Page: https://www.robots.ox.ac.uk/~luca/siamese-fc.html

阅读笔记：https://www.cnblogs.com/wangxiaocvpr/p/5897461.html
https://blog.csdn.net/stayfoolish_fan/article/details/79009360
https://blog.csdn.net/u013931256/article/details/53247997

1、简介
传统方法在线学习目标模型，如TLD，Struck，KCF等算法。但这类算法只从追踪视频本身进行学习，得到的模型相对简单。
但是由于追踪目标事先未知，只能通过最初的框选定，无法预先准备大量训练数据。
有些学者通过从相似任务中学习影子模型，并在实时跟踪中使用SGD更新网络参数。但这一方法效果并不好，并且SGD导致无法实时。
我们提出一个可供选择的方法。离线训练一个解决相似性学习的深度卷积网络。
ILSVRC提供了训练所需的数据。

2、利用深度相似学习的追踪
设一个函数f(z,x)，负责比较模板图像z和候选图像x的相似度。为了定位目标在新图像里的位置，需要遍历地进行比较，选出相似度最大的。
第一帧人为框定的作为初始的模板图像，相似度函数f从标记数据中学习得到。
孪生网络对两个输入都应用相同的变换ϕ，并用另一个函数g来比较他们的结果。f(z,x)=g(ϕ(z),ϕ(x))。
深度孪生卷积网已经被用在人脸验证、关键点描述子学习、one-shot字符识别等任务上。

3、特点
a：性能好，速度快（86FPS），方法简单有效，所以后面有很多Tracking的研究是基于SiameseFC方法的。
b：特征提取网络是通过大量数据离线训练得到的，且网络支持任意大小的图片输入。
c：网络结构选择了AlexNet，代码中对conv中的padding设置均为VALID，实验表明若全部设置为SAME，最终的跟踪结果在OTB100上有十几个百分点的下降。这篇博客详细讲解了什么是VALID和SAMEhttps://blog.csdn.net/wuguangbin1230/article/details/79218593。最近的一篇论文解释了这一现象：Deeper Wider Siamese Tracker（CVPR2019）https://baijiahao.baidu.com/s?id=1627060097929333328&wfr=spider&for=pc