High-Performance Long-Term Tracking with Meta-Updater CVPR2020 论文笔记

论文地址： https://arxiv.org/abs/2004.00305
代码地址： https://github.com/Daikenan/LTMU
提出的元更新程序可以按顺序有效地集成几何，判别和外观提示，然后使用设计的级联LSTM模块挖掘序列信息。提出的元更新器会学习二进制输出以指导跟踪器的更新，并且可以轻松地嵌入到不同的跟踪器中。
贡献：

1. 提出了一种新颖的离线训练型元更新程序，有效地指导了在线跟踪器的更新
2. 在线本地跟踪器的基础上，引入了长期跟踪框架。提出的长期跟踪框架在低风险的情况下可受益于在线更新的短期跟踪器的优势

1.长期跟踪框架

在每个帧中，本地跟踪器将本地搜索区域作为输入，并输出被跟踪对象的边界框。然后，验证者评估当前跟踪结果的正确性。如果输出验证分数大于预定义的阈值，则跟踪器将在下一帧中继续进行本地跟踪。如果分数小于阈值，我们将使用更快的R-CNN检测器来检测下一帧中的所有可能候选者，并针对每个候选者裁剪本地搜索区域。然后，SiamPRN模型将每个区域作为输入并输出相应的候选框。这些边界框被发送到验证者以识别是否存在目标。验证者找到目标后，将重置本地跟踪器以适应当前目标外观。在进入下一帧之前，将收集所有历史信息并将其发送到建议的元更新器中。最后，元更新程序指导在线跟踪程序的更新。使用SiamMask方法进行尺度估计

2. Meta-Updater

整合几何、判别和外观线索来制定元更新策略
几何线索：

判别线索：


输出向量v对当前帧中跟踪器的可靠性信息进行隐式编码，并由后续模型进行进一步处理
外观线索：

3.LSTM

在一个训练好的网络中，当输入的序列中没有重要信息时，LSTM的遗忘门的值接近于1，输入门的值接近于0，此时过去的记忆会被保存，从而实现了长期记忆功能；当输入的序列中出现了重要的信息时，LSTM应当把其存入记忆中，此时其输入门的值会接近于1；当输入的序列中出现了重要信息，且该信息意味着之前的记忆不再重要时，输入门的值接近1，而遗忘门的值接近于0，这样旧的记忆被遗忘，新的重要信息被记忆。经过这样的设计，整个网络更容易学习到序列之间的长期依赖。
文章使用的三个级联LSTM

LSTM的训练