Siamese Instance Search for Tracking 阅读

这是一篇CVPR2016的用DL思想解决Tracking的文章。文章思想简单易懂，但是效果却很好。使用siamese深度网络，no model updating, no occlusion detection, no combination of trackers, no geometric matching，达到state-of-the-art的水平。

论文旨在学习匹配机制，从大量的外部视频学习先验的匹配函数，训练视频与测试视频没有交集，在学习过程中关注广义目标外形变化。在跟踪过程中目标不变，不进行跟踪器组合和遮挡处理。

核心思想：通过Siamese网络学习一个匹配函数。在得到第一帧目标信息后，接下来的所有帧采样后都和第一帧目标进行匹配度计算，得分最高的即为目标。

加速手段：由于跟踪问题中一个重要的性能就是速度！在检测过程中，如果每提取一个样本就和第一帧图片计算一次匹配度，那么显然是十分耗时的。作者参考Fast-Rnn的思想（reginon pooling layer），从一副大的图片经过CNN后的输出特征图中寻找想要的小patch的特征部分，从而在前面几层只需要一次的CNN前向计算即可，最后根据给定的bounding box regions选取n个feature map在后面几层进行传播计算。

考虑到跟踪中匹配的框有很多交叠的，使用了ROI pooling层进行加速，ROI池化将特征图转换为固定长度的表示。低层的特征分辨性比较强，高层的特征概括性比较强，作者使用了二者的综合特征。在跟踪中，query图像和search图像没必要紧邻。匹配过程中，根据匹配函数找到最佳匹配框：

损失函数：

 

 

参考：https://blog.csdn.net/cv_family_z/article/details/52301404

https://blog.csdn.net/aiqiu_gogogo/article/details/79225555

https://blog.csdn.net/mtc_Ningning/article/details/52814480

Siamese Instance Search for Tracking