SINT++论文笔记

SINT++是cvpr2018的一篇关于深度学习在目标跟踪的应用的论文，在这篇文论中，作者认为深度学习在实际目标追踪中存在训练数据不足的问题，由此提出基于SINT的优化算法SINT++。深度学习开始引入目标跟踪领域时，无论是在Success plot of OPE还是Precision plot of OPE结果图上都取得可观的实验结果，之后得到很多人的关注。近年来，目标跟踪比较主流的两个方向是基于相关滤波的目标跟踪方法和基于深度学习的目标跟踪方法，相较于传统的追踪方法，相关滤波在实际的视觉跟踪中速度得到很大幅度的提升，而深度学习得到的深度特征比传统的手工特征更加精确，所以也有人后继将两者结合，比如ECO等。但是训练数据的不足是深度学习在目标跟踪领域的应用中一直在攻克的难题，在这方面，研究者们不断提出新的策略。

SINT++认为单纯的扩大数据集并不能有效提高跟踪器的鲁棒性，原因是即使数据集足够大也很难包含非常稀少的目标遮挡的情况，这个稀少的情况在A-Fast-RCNN一文中有提及。因此，SINT++提出如何让强化学习来丰富训练数据提高追踪的鲁棒性。该文整体上分为三个主要框架：

1）Positive sample generation(PSGN)   

2)Hard positive transformation generation network(HPTN) 

3)Siamese instance search network（SINT）

该文搭建的第一个网络是PSGN，作者假设目标是在流行结构中，基于这个情况，采用VAE方法，生成多样化的正样本。在HPTN网络中，针对实际目标跟踪过程中出现的遮挡和形变问题，使用强化学习来生成hard positive sample，设计这个网络的主要目的就是增加整个SINT++算法中追踪器的鲁棒性。HPTN具体需要解决的两个问题就是，如何决定遮挡目标的区域和用于遮挡目标的区域补丁该取自背景的哪个区域，此过程涉及到马尔可夫决策过程和深度Q网络（DNQ），马尔可夫决策过程则是基于代理的自身状态和环境采取动作，并根据反馈找出最优策略，此过程是理论上使用贝尔曼最优方程组，其中包括状态价值函数和动作价值函数；直到反馈值为0时，终止动作产生，指明找到了我们需要的遮挡区域。而训练hard positive sample生成网络采用的算法就是DQN,其中在为每个状态选择一个执行动作所采用的方法是贪心策略。

SINT++是基于SINT算法的基础上实现的，与对抗网络相比，SINT++有两个优点，第一，提出了基于结构流遍历而产生多样性的正样本，这在目前已有的扩增训练数据方法中首次出现。并通过VAE产生模糊样本，这有助于在训练模型的过程中增加跟踪器对目标产生运动模糊情况的鲁棒性。第二，文中指出强化学习产生的hard positive sample 比对抗网络的dropout产生的hard positive sample更加符合现实中目标跟踪出现的遮挡情况。

但是SINT++整个实现过程比较复杂，这与VITAL相比，计算的复杂性较大，VITAL目前是继ECO以来在实际目标跟踪中更优的方法。

以上如有什么不妥之处，欢迎大家指正。