[RGBT-VOT3](2020ECCV)CAT：Challenge-Aware RGBT Tracking

Abstract

RGB和红外源数据再RGBT跟踪中有着相同的挑战——如何探索利用这些数据来表达目标外观。

本文提出了一个挑战感知(challenge-aware)的网络来处理模态共享(modality-shared)（如快速移动，尺度变化和遮挡）和模态特有（如光照变化和热交叉）的挑战。

具体地，在每个层中都设计了几个参数共享的分支来建模模态共享挑战中的目标外观，和几个参数独立的分支来建模模态特有挑战中的目标外观。由于模态特有的信息经常包含了补充的优势，本文提出了一个指引模块(guidance module)从一个模态中转移鉴别式的特征到另一个模态中，其有助于增强弱模态的鉴别能力。此外，所有的分支都以自适应的方式聚合在一起并并行地嵌入在骨干网络中以形成更有鉴别能力的目标表达。

这些挑战感知的分支可以建模目标外观在训练数据不足的情况下。实验结果显示本方法以实时的速度跟踪并在3个benchmark数据集上实现了最好的效果。

1. Introduction

引入RGBT问题：RGBT跟踪的任务是在仅给定第一帧中目标初始位置时，使用RGB和红外信息的互补优势来估计连续帧中指定目标的状态。最近，由于RGBT跟踪在所有天气情况下的潜在优势在变得越来越流行。尽管RGBT跟踪已经实现了许多突破，由于各种挑战(光照变化，热交叉和遮挡等)其仍然未被完全解决。

现存的RGBT方法：从简单的加权混合到稀疏表达到深度学习技术。其中深度学习技术可分为三类：

1. 多模态表达&