【论文笔记】CVPR2019_SiamRPN++

论文题目：SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks
这篇SiamRPN++是CVPR2019的Oral，和另一篇CVPR2019的另一篇Oral文章SiamDW解决的是同一个问题：就是跟踪网络如何做的更深？

作者专栏 https://zhuanlan.zhihu.com/p/56254712

Motivation

主要解决的问题是：深层网络ResNet、Inception等网络应用到基于孪生网络的跟踪网络中。
在SiameseFC算法之后，尽管已经有很多的基于孪生网络的跟踪算法，但这些网络都使用浅层的类AlexNet做为基准特征提取器，直接使用预训练好的深层网络反而会导致跟踪算法精度的下降，因此，这成为了一个基于孪生网络的跟踪器需要解决的一个关键问题！

本文的创新点

1. 分析了深层网络效果差的原因（因为padding的存在，这个与SiamDW想法类似）
2. 作者提出了一种spatial aware sampling strategy用来维持平移不变性，平衡深层网络中padding的影响；
3. 提出了layer wise feature aggregation structure for the cross-correlation operation学习多层特征；
4. 使用Depth-wise Cross Correlation Layer来做互相关，产生的是2k个response分类响应图和4k个回归响应图（SiamFC只得到了一张响应图）

深层网络跟踪效果差的原因及改进

SiamFC中使用的是去掉了padding的Alexnet，由此可以思考，为什么要把padding去掉？padding对网络的效果有什么影响？
参考下图（来自 SiamDW作者 张志鹏 极客平台分享视频）
可以看到，引入了padding之后，不再具有严格的平移不变性。因此跟踪的效果不好。但是深层网络正是因为有了padding，才可以变的那么深，（例如下图的ResNet网络，想要跳跃连接，必须要使得卷积后的输出与原始的输入x特征图大小相同，如何保证卷积输出的结果与输入相同呢？答案就是padding）

因此，想要使用深层网络，就必须解决padding问题带来的影响。本文作者采用的方式是将目标均匀的在一定范围内shift，下图可以看出，当shift为0时，效果很差，shift逐步增加直到64时，效果最好。

Depth-wise Cross Correlation Layer用来降低参数数量

------------2019.10.31 更新----------
看到了一篇还不错的论文笔记，贴出链接