SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks—CVPR’19 阅读

使用ResNet-50作为特征提取的网络构架，提出depth-wise和layer-wise操作针对特征进行优化，提升SiamRPN网络的性能。

Abstract.

Siamese network based trackers formulate tracking as convolutional feature cross-correlation between a target template and a search region.

基于Siamese网络的跟踪器将跟踪任务建模为目标模板和搜索区域之间的卷积特征互相关。

However, Siamese trackers still have an accuracy gap compared with state-of-the-art algorithms and they cannot take advantage of features from deep networks, such as ResNet-50 or deeper.

然而，Siamese跟踪器与最先进的算法相比仍然在精度上仍存在差距，而且它们不能利用深层网络的特征，如ResNet-50或更深的网络。

In this work we prove the core reason comes from the lack of strict translation invariance. By comprehensive theoretical analysis and experimental validations, we break this restriction through a simple yet effective spatial aware sampling strategy and successfully train a ResNet-driven Siamese tracker with significant performance gain.

在本文中，作者证明了其核心原因是缺乏严格的平移不变性。通过全面的理论分析和实验验证，作者通过简单有效的空间感知采样方法突破了这一限制，成功地训练了ResNet驱动的Siamese跟踪器，并获得了显著的性能增益。

Moreover, we propose a new model architecture to perform layer-wise and depth-wise aggregations, which not only further improves the accuracy but also reduces the model size.

此外，作者提出了一种新的模型架构进行depth-wise和layer-wise操作针对特征进行优化，这不仅进一步提高了精度，而且减小了模型的尺寸。

We conduct extensive ablation studies to demonstrate the effectiveness of the proposed tracker, which obtains currently the best results on five large tracking benchmarks, including OTB2015, VOT2018, UAV123, LaSOT, and TrackingNet.

通过广泛的消融实验以及在五个数据集上验证了算法性能。

这篇文章是为了解决 Siamese Tracker 无法利用 Deep Backbone Network 的问题。作者的实验发现，较深的网络，如 ResNet, 无法带来跟踪精度提升的原因在于：the distroy of the strict translation invariance。因为目标可能出现在搜索区域的任何位置，所以学习的target template 的特征表达应该保持 spatial invariant，而作者发现，在众多网络中，仅仅 AlexNet 满足这种约束。本文中，作者提出一种 layer-wise feature aggravation structure 来进行 cross-correlation operation，帮助跟踪器从多个层次来预测相似形图。

此外，作者通过分析 Siamese Network 发现：the two network branches are highly imbalanced in terms of parameter number; 作者进一步提出 depth-wise separable correlation structure，这种结构不但可以大幅度的降低 target template branch 的参数个数，还可以稳定整个模型的训练。此外，另一个有趣的现象是：objects in the same categories have high response on the same channels while responses of the rest channels are supressed. 这种正交的属性可能有助于改善跟踪的效果。

Analysis on Siamese Networks for Tracking: 各种实验说明了 stride，padding 对深度网络的影响。

 

ResNet-driven Siamese Tracking : 为了降低上述影响因子对跟踪结果的影响，作者对原始的 ResNet 进行了修改。因为原始的残差网络 stride 为 32，这个参数对跟踪的影响非常之大。所以作者对最后两个 block 的有效 stride，从 32 和 16 改为 8，并且通过 dilated convolution 来增加 receptive field。利用 1*1 的卷积，将维度降为 256。但是这篇文章，并没有将 padding 的参数进行更改，所以 template feature map 的空间分辨率增加到 15，这就在进行 correlation 操作的时候，计算量较大，影响跟踪速度。所以，作者从中 crop 一块 7*7 regions 作为 template feature，每一个 feature cell 仍然可以捕获整个目标区域。作者发现仔细的调整 ResNet，是可以进一步提升效果的。通过将 ResNet extractor 的学习率设置为 RPN 网络的 1/10，得到的 feature 可以更加适合 tracking 任务。

Layer-wise Aggregation : 本文是想利用多层特征的聚合来提升特征表达，提升跟踪结果。作者从最后三个残差模块，得到对应的输出：F3(z), F4(z) 以及 F5(z)。由于多个 RPN 模块的输出，有相同的分辨率。所以，直接对这几个结果进行加权求和。 Depthwise Cross Correlation : Cross correlation module 是映射两个分支信息的核心操作。SiamFC 利用 Cross-Correlation layer 来得到单个通道响应图进行位置定位。在 SiamRPN 中，Cross-Correlation 被拓展到更加高层的信息，例如 anchors，通过增加一个 huge convolutional layer 来 scale the channels (UP-Xcorr)。这个 heavy up-channel module 使得参数非常不平衡（RPN 模块包含 20M 参数，而特征提取部分仅包含 4M 参数），这就使得 SiamRPN 变的非常困难。于是作者提出一个轻量级的 cross correlation layer，称为：Depthwise Cross Correlation (DW-XCorr)，以得到更加有效的信息贯通。DW-XCorr layer 包含少于 10 倍的参数（相比于 UP-XCorr used in RPN），而性能却可以保持不降。 为了达到这个目标，作者采用一个 conv-bn block 来调整特征，来适应跟踪任务。Bounding box prediction 和 基于 anchor 的分类都是非对称的 (asymmetrical)。为了编码这种不同，the template branch 和 search branch 传输两个 non-shared convolutional layers。然后，这两个 feature maps 是有相同个数的 channels，然后一个 channel 一个 channel 的进行 correlation operation。另一个 conv-bn-relu block，用于融合不同 channel 的输出。最终，最后一个卷积层，用于输出 classification 和 regression 的结果。通过用 Depthwise correlation 替换掉 cross-correlation，可以很大程度上降低计算代价和内存使用。通过这种方式，template 和 search branch 的参数数量就会趋于平衡，导致训练过程更加稳定。 另一个有意思的现象是：the objects in the same category have high response on same channels, while response of the rest channels are supressed。也就是说，同一类的物体在同一个 channel 上，都有较高的响应，而其他的 channels 上则被抑制。

参考

1. SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks （https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_SiamRPN_Evolution_of_Siamese_Visual_Tracking_With_Very_Deep_Networks_CVPR_2019_paper.pdf）

2. https://www.bbsmax.com/A/MyJxYj6R5n/

3. https://www.dazhuanlan.com/2019/12/07/5deb6e5e5fe2f/

4. https://blog.csdn.net/baidu_36669549/article/details/85719585