[论文阅读 2016 ECCV 目标跟踪]Fully-Convolutional Siamese Networks for Object Tracking

简介

paper:Fully-Convolutional Siamese Networks for Object Tracking

code:siamfc-pytorch

siamfc是siamese目标跟踪的开山鼻祖，siamfc提出的背景是：直接使用深度网络用于目标跟踪无法满足实时性要求。而siamfc开创性地使用siamese netword结构用于目标跟踪，并使用ILSVRC15这种大型的数据集进行预训练，从而使得siamfc的性能非常好。

主要流程

siamfc的网络框架如上图所示，其中z是参照图片,x是测试图片，将参照图片和测试图片都输入到backbone中提取特征，输出参照图片的特征图$6\ast 6\ast 128$,测试图片的特征图$22\ast 22\ast 128$；之后将参照图片的特征图与测试图片的特征图进行卷积运算从而得到score map.取score map的max score距离中心的偏移，乘以网络缩放比例从而得到跟踪目标的偏移量.

siamfc将bounding box的中心置为整幅图片的中心，同时以bounding box的中心，取半径为R的区域作为正标签。

$$y[u]=\{\begin{array}{ll}+1& \text{ if }k\Vert u-c\Vert \le R\\ -1& \text{ otherwise }\end{array}$$

训练阶段

训练时，取ILSVRC15的来自同一个video的两张图片组成训练图像对，这两张图片间距至少是T帧。将这样的图像对输入到siamfc中，并采用损失函数:

$$L(y,v)=\frac{1}{|\mathcal{D}|}\sum _{u\in \mathcal{D}}\ell (y[u],v[u])$$

其中$\ell (y,v)=\log (1+\exp (-yv))$,$D$是score map,y[u]是标签,v[u]是预测的score.

测试阶段

测试时，将首帧图像作为参照图像z，并输入到backbone得到其模板特征，该模板特征每过若干帧通过线性插值的方法更新。

实验结果

小结

siamfc首次将siamese network引入目标跟踪任务，之后siamRPN等各种优秀的siamese目标跟踪算法被提出。siamese network可以用于计算两张图片的相似性，而在目标跟踪中正是在跟踪过程中寻找与目标特征最相似的区域，所以siamese network可以很好地用于目标跟踪任务中。