Learning Policies for Adaptive Tracking with Deep Feature Cascade 阅读笔记

摘要

目前跟踪方法主要是实时地基于像素的浅跟踪方法，高性能高计算要求的深度方法，本文提出自适应的方法，策略是容易帧使用简单特征，难判断帧使用深层特征。利用决策过程，决定使用网络中哪一层的特征。减少计算成本

介绍

性能与准确性的要求，深度学习方法受限于前向计算的负载，网络不能太深。观察：跟踪的复杂性因不同帧而异。外观大变使用最后一层特征代价更高，而区分明显不同的目标，浅层就足够精准定位。
该策略基于一个决策：在当前特征层停止计算还是继续计算下一层。学习一个智能体agent在每层寻找目标，决定是否继续。相当于学习一个决策策略寻找最优的跟踪特征。比较基础跟踪方法速度平均提升10倍，高准确率。实验说明了其实大部分帧的目标是容易跟踪到的。速度接近实时。

方法

给定t时刻的视频帧，在特征图搜索区域中选择峰值位置。

$H_t$是前一帧目标周围区域，也就是下一帧目标可能出现的位置。$l$是网络特征层索引。许多方法只利用最后一层特征或结合所有网络层特征，这些方法有效但速度较慢。
本文方法为了有效而不失准确度，积累前面一部分响应图的值$f_{l=1,...,L_t}(r)$。例如，对于下图中容易区分的目标卷积层$C_1,C_2$足够跟踪目标，但对于模糊场景，可能需要更鲁棒的深层特征$C_5$。
理想情况下，应前向网络层数尽可能小，减少计算量，简单方法是该层响应图的峰值是否低于阀值，但这种方法在响应图模糊，多峰值下不适用。本文方法是通过强化学习，学习决策过程，如下图所示

全卷积孪生网络

输入模板z 大小127127，搜索图片255255，${\phi }_l$是第l层卷积网络提取的特征。两个分支的网络经过互相关后得出响应图，响应图峰值作为目标位置。
目标是从响应图学习决策策略满足，1，预测目标位置，2，及时停止前向计算，当目标容易定位时。

基于强化学习学习策略

将跟踪问题视为Markov决策过程，学习到的agent决定是否继续和将边框怎样变形，最终目标是在跟踪到目标的情况下尽可能少的网络层特征提取。
用强化学习的方式训练agent：
Actions:8个操作，全局缩小放大，宽\高缩小放大，形状不变，停止。
States:由二元组$(F_l^{{}^{\prime }},h_l)$表达当前状态，$F_l^{{}^{\prime }}$是前$l$层响应的平均，$F_l^{{}^{\prime }}={\sum }_{k=1}^l{F}_k/l$，$h_l$是历史决策向量，后面实验部分研究了使用响应平均而不是当前响应的影响，以及$h_l$的影响
Rewards:回报函数$$(S_{l-1},S_l)$反映采取动作后状态转换的收益。定义为：

收益分为停止操作的收益与其它收益，当采取停止操作后 ，我们会希望目标能被跟踪到，用IoU表达就是其大于阈值0.6，这里为正收益+3，否则为负收益-3，其它操作就是对边框形变并继续下一层特征提取，我们希望经过一个动作后iou能变大，这里为正收益+1，否则为-1。
Deep Q-learning:基于Q值函数选择动作，Q值使用网络Q-net拟合。从图中可以看出，输入互相关平均响应图后，大小为1717，展开成一维1717=289，并与4个8元素向量共32元素的一维向量合并，经过全连接网络输出决策分布。全连接网络要求输入大小固定，而最后一层特征层互相关后大小为1717，那么前面特征互相关操作后大小肯定大于1717，所以输入Q-net 的响应图先经过下采样 。
强化学习部分需要读者自行学习，推荐谢天-强化学习cs294-112

实验

变种方法比较

不同方法比较

OTB-50
OTB-100
VOT-15