自适应相关滤波 with LSTM网络 for 目标追踪

摘要：

        目标跟踪具有挑战性，因为随着时间的推移，目标对象的外观经常会发生剧烈的变化。近年来，自适应相关滤波器已成功地应用于目标跟踪。然而，依赖于高自适应相关滤波器的跟踪算法容易因噪声更新而漂移。此外，由于这些算法不能保持对目标外观的长期记忆，因此无法从摄像机视图中的严重遮挡或目标消失所导致的跟踪失败中恢复。在本文中，我们提出学习多个具有长期和短期目标外观记忆的自适应相关滤波器，以实现对目标的鲁棒跟踪。首先，我们学习了一个具有 aggressive 学习率的核化相关滤波器来精确定位目标。我们考虑到周围环境的适当大小和特征表示。其次，我们在以估计目标位置为中心的特征金字塔上学习了一个相关滤波器，用于预测尺度变化。第三，我们学习了一个具有保守学习率的互补相关滤波器，以保持目标外观的长期记忆。我们使用这个长期滤波器的输出响应来确定是否发生跟踪失败。在跟踪失败的情况下，我们应用增量学习检测器以滑动窗口的方式恢复目标位置。在大规模基准数据集上的大量实验结果表明，该算法在效率、准确性和鲁棒性等方面都优于现有的方法。

简介：

        目标跟踪是计算机视觉中的基本问题之一，有着广泛的应用，包括监视、人机交互和自动车辆导航[52，32，48]。给定第一帧中由包围框指定的通用目标，目标跟踪的目标是估计后续帧中未知的目标状态，例如位置和尺度。尽管在过去的十年中取得了重大进展，但由于变形、突然运动、光照变化、严重遮挡和目标在摄像机视野中的消失等因素造成的外观变化，目标跟踪仍然具有挑战性。为了应对这种随时间变化的外观变化，自适应相关滤波器被应用于目标跟踪。然而，现有的跟踪算法依赖于这种高度自适应的模型并不能保持对目标外观的长期记忆，因此在有噪声更新的情况下很容易发生漂移。在本文中，我们提出了多个具有长期和短期记忆的自适应相关滤波器来进行鲁棒目标跟踪。

        相关滤波器近年来在目标跟踪界[8，23，11，55，33，26，34，41，24，40，12，6]引起了广泛的关注。我们将相关滤波器用于目标跟踪的有效性归因于以下三个重要特征。首先，基于相关滤波的跟踪算法通过在傅里叶域上有效地计算空间相关性，可以获得较高的跟踪速度。使用内核技巧[24，13，33]进一步提高了跟踪精度，而不显著增加计算复杂度。其次，相关滤波器自然地考虑到周围的视觉背景，并提供比仅基于目标对象的外观模型[28，49]更多的鉴别信息。例如，即使目标对象经历了严重的遮挡，上下文线索仍然可以帮助推断目标位置[55]。第三，学习相关滤波器等价于回归问题[24，23]，其中输入图像块的循环移位版本回归到软标签，例如，由从零到1的窄带宽的高斯函数生成。这不同于现有的跟踪检测方法[3，4，21]，在这种方法中，二进制(硬阈值)样本块被密集地或随机地画在估计的目标位置周围，以递增地训练鉴别分类器。因此，基于相关滤波的跟踪器可以减少对高度空间相关样本分配正负标签的不可避免的模糊性。

      【图片对比... 我们的跟踪器学习具有短期存储器的自适应相关滤波器，用于翻译和缩放估计。与e TLD [28]跟踪器相比，所提出的跟踪算法对第230帧的突然运动和显著变形更加鲁棒。我们的跟踪器显式地捕捉目标外观的长期记忆。结果，我们的方法可以在386帧中持续阻塞之后恢复丢失的目标。其他现有技术相关跟踪器（MUSTer [26], KCF [24], DSST [11] and STC [55]）无法处理此类跟踪故障。】

        然而，现有的基于相关滤波器的跟踪器[8，23，11，55，33]有一些局限性。这些方法采用高学习率的移动平均方案来更新学习滤波器，以处理随时间变化的外观变化。由于这种高度自适应的更新方案只能保持对目标外观的短期记忆，因此这些方法容易由于有噪声的更新而漂移[42]，并且由于没有维护目标外观的长期记忆，因此无法从跟踪失败中恢复。图1显示了突出这些问题的示例。最先进的相关滤波器跟踪器(KCF[24]、STC[55]和DSST[11])倾向于在350帧中因噪声更新而漂移，而在长时间遮挡后的386帧中无法恢复。

        在本文中，我们通过战略性地利用目标外观的短期和长期记忆来解决[20，45]的稳定性-自适应困境。具体来说，我们开发了三种相关滤波器：(1)平移滤波器，(2)尺度滤波；(3)长期滤波.首先，我们学习了一个用于估计目标平移的相关滤波器。为了提高定位精度，在常用的定向梯度直方图(HOG)的基础上引入了局部灰度直方图(HOI)作为补充特征。结果表明，组合特征增强了目标与周围背景的分辨力。其次，通过将目标对象的特征金字塔回归到一维尺度空间来估计尺度变化，从而学习了尺度相关滤波器。第三，我们学习并更新了一个使用自信跟踪样本补丁的长期过滤器。对于每一个跟踪结果，我们使用长期滤波器计算可信度分数，以确定是否出现跟踪失败。当置信度低于某一阈值时，我们启动一个在线训练的检测器来恢复目标对象。

         这项工作的主要贡献是一个有效的方法，最好利用三种类型的相关滤波器的鲁棒目标跟踪。具体来说，我们做出以下三个贡献：

        --我们证明，自适应相关滤波器在估计平移和尺度变化以及确定是否发生跟踪失败方面具有很好的能力。与我们在[41]中的工作相比，我们使用了一个不同的检测模块，使用高效的被动攻击方案进行增量更新。

        --我们系统地分析了不同特征类型和周围上下文区域的大小对设计有效相关滤波器的影响。我们还提供了深入的烧蚀研究，以探讨设计选择的贡献。

        --我们详细讨论和比较了所提出的算法和并行工作[26]。我们评估了所提出的算法，并与最先进的跟踪器在OTB 2013[50]和OTB 2015[51]数据集以及来自[54]的另外10个具有挑战性的序列上进行了广泛的比较。