CVPR 2018 SINT++:《SINT++: Robust Visual Tracking via Adversarial Hard Positive Generation》论文笔记

  理解出错之处望不吝指正。

  本文用到了变分自编码VAE和强化学习DQN，我觉得很新颖。整体架构如下图：

  首先，使用VAE来生成positive sample，如上图中右下角。

  然后，使用HTPN网络将得到的positive sample变得更加hard，即：添加遮挡。那么问题就来了，（1）.我们要遮挡目标物体中的哪部分？（2）.用哪部分去遮挡（1）中的部分？

  这两个问题有一个共性，就是要locate one image region。locate的过程可以视为一个MDP（马尔科夫决策过程），MDP问题可以使用强化学习知识来解决。state就是当前得到的特征图，可选择的action如下图：

   

  reward的设置根据预测分数的变化来给予：

   

  trigger action的reward通过下式决定（其中是预定义好的阈值参数）：