【目标跟踪】《High Performance Visual Tracking with Siamese Region Proposal Network》论文阅读笔记

论文:http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf

1.Abstract

近年很多基于深度学习的目标跟踪方法,取得了很好的准确度,但是很少有方法可以在高精度的前提下保持实时的速度。这篇文章提出Siamese-RPN。利用Siamese子网络来提取特征,利用RPN子网络来进行正负分类和检测框回归。在推理阶段,Siamese-RPN可以认为是一个(local one-shot detection task)本地一次检测任务。作者预先计算孪生子网络中的模板支路,也就是第一帧,并且将它构造成一个检测支路中区域提取网络里面的一个卷积层,用于在线跟踪。得益于这些改良,传统的多尺度测试和在线微调可以被舍弃,这样做也大大提高了速度。Siamese-RPN跑出了160FPS的速度,并且在VOT2015,VOT2016和VOT2017上取得了领先的成绩。

2.Contribution

  • 提出siamese region proposal network(Siamese-RPN)用于解决目标跟踪问题。该网络可利用“图片对”进行端到端地离线训练;
  • 该模型可将在线跟踪任务转换为one-shot检测任务,而不是使用低效费时的多尺度测试(multi-scale test);
  • 该模型在保证准确率的同时,达到了较高的速度。

3.SiameseFC

论文地址:http://openaccess.thecvf.com/content_cvpr_2017/papers/Valmadre_End-To-End_Representation_Learning_CVPR_2017_paper.pdf

【目标跟踪】《High Performance Visual Tracking with Siamese Region Proposal Network》论文阅读笔记_第1张图片
siameseFC结构
  • 特征提取层利用到权重共享的全卷积神经网络(孪生网络)。
  • 对于模板图像,首先统一resize到1271273,然后通过卷积神经层,得到一个66128的输出feature map。
  • 对于检测图像,首先统一resize到2552553,然后通过卷积神经层,得到一个2222128的输出feature map。
  • 两个特征图做相关性卷积,计算两个feature map各个位置(区域)上的相似度,得到一个17*17的score map。Score map上相似度最大的点,映射到原检测图像上,则认为是匹配位置。

siameseFC存在的缺点

  • bbox的大小一直不会变,和模板图像的大小保持一致。当视频中的目标由远及近等情况的时候,会在图像中变大,但bbox框并不会变大。
  • 模板支只在第一帧进行,这使得模版特征对目标的变化不是很适应,当目标发生较大变化时,来自第一帧的特征可能不足以表征目标的特征。

4.SiameseRPN网络结构

【目标跟踪】《High Performance Visual Tracking with Siamese Region Proposal Network》论文阅读笔记_第2张图片
Siamese-RPN的结构

SiamRPN的前一部分和SiamFC一样:都是先通过一个全卷积网络提取高层特征。不同的是SiamFC把输出直接用来进行相关滤波,而SiamRPN接入的是一个RPN(有2个分支:分类、回归)。
k代表k个anchor,模板分支6*6*256的特征图经过conv升维,分别升维为4*4*(2k*256)、4*4*(4k*256)。2k作为前后背景分类的softmax输出结果、4k作为bbox的(x,y,w,h)的回归结果。

其他细节
  • siameseRPN的loss与Faster-RCNN相同,分类部分的采用cross-entropy loss,回归部分采用smooth L1 loss。
  • 图像预处理方式与Siamese-FC相同,具体来说就是经过填充、裁剪、缩放,把ground truth box放到图像的中心位置。

你可能感兴趣的:(【目标跟踪】《High Performance Visual Tracking with Siamese Region Proposal Network》论文阅读笔记)