End-to-end Active Object Tracking via Reinforcement Learning

论文地址：http://proceedings.mlr.press/v80/luo18a/luo18a.pdf

摘要

我们研究运动目标跟踪，在一个跟踪者作为输入的视觉观察（帧序列）以及处理相机控制信号（移动向前，左拐）。卷积方法处理跟踪和相机控制独立地，正在挑战联合调优。它也导致一些人们支持对于标记和一些经验试验和错误在真实世界中。为了解决这个问题，我们提出，在这篇文章中，一个端到端的解决通过深度强化学习，使用一个ConvNet-LSTM函数估计，来适应这种直接帧到运动的预测。我们将提出一个环境讨论技术以及一个定制的奖励函数，它是至关重要的对成功的训练。这个跟踪训练在仿真（ViZ-Doom，虚拟引擎中）展示好的形成在情况未知目标移动路径，未知目标出现，未知背景，来跟踪目标。它能恢复跟踪当出现目标丢失。在这个实验中VOT数据集上，我们也发现跟踪能力，获得唯一地从仿真中，能够潜在地转化到真实的场景中。

 

效果对比

ConvNet-LSTM架构