目标跟踪数据集整理（六）-----UAV

无人机跟踪在计算机视觉领域有很多应用，除了监控，还有搜索、营救、野生动物监测、人群监测和管理、导航定位、目标避障和极限运动录像。航空跟踪也可以用到很多物体上，其中许多在地面上不能持续跟踪。就如学校每次开运动会时的航拍，从平面上你看不出跳舞所摆出的字，可以航拍就很清晰，一目了然。。。。

本来不想看这篇论文，但是看到下面这张图片，我硬着头皮看下去了。一直听说，游戏引擎可以生成各种你需要的图片，2D/3D,而且可以标注，很方便，现在终于看到了游戏引擎模拟生成的图片，都有点想玩游戏呢！！！

本文提出了一个新的航空视频数据集和用于低空无人机目标跟踪的基准，还有一个逼真的无人机模拟器。那这个模拟器是做什么用的呢？ 它被用来评估在真实的场景下的跟踪算法，然后再部署到无人机领域，同时，它也可以生成合成且逼真的跟踪数据集，可以自动标注真值，从而很容易地扩展了现有的真实数据集。
因为现有的benchmarks是预先录制的场景，他们不能提供一个定量的测量关于较慢的跟踪器在跟踪目标时对UAV性能的影响。现在本文提出的模拟器可以渲染真实的环境，和各种真实的移动物体，进而进行测评。模拟器使用的是Unreal Engine 4

下面就是数据集的一部分，其中就有模拟生成的数据。第一行的车和第三行的人

这个数据集是从低空航空视角捕获的123个完全标注的高清视频序列。和现有的数据集有本质的不同（随着无人机的运动相机的视角在不断改变，因此在UAV123中相对于初始帧的bbox大小和纵横比变化非常显著。此外，因为相机被固定在无人机上，所以相机可以随着物体而移动，导致了一个较长的跟踪序列，这也标志着与静态跟踪系统的不同）。因为航空跟踪都是长序列，所以我们把它切割成子序列，以确保数据集保持合理的困难程度。 其中有一个子集用于长序航空跟踪，叫做（UAV20L）

UAV123数据集可以分为3个子集，第一，103个视频序列，由专业的高级的无人机稳定可控的相机捕获，高度5~25meters，frame rates30_{96fps，resolution·720p}4K。最后所有的视频提供720p，30fps，并完全手工标注。第二，12个视频序列，由价格比较低的无人机不稳定的相机捕获，这些序列拥有低的质量和分辨率，还包含合理的噪声，并完全手工标注。第三，8个合成的视频序列，由我们提出的UAV模拟器。目标随着预先定义的轨迹移动，使用Unreal Game Engine rendered，同时自动标注在30fps，同时也可以获得目标mask/segmentation
UAV123数据集包含了大量的场景，目标，和动作。很自然的，这些序列包含了通常目标跟踪的一些挑战。
下图是很现有数据集的一个比较：

对于现有的UAV数据集都很少，一些监控数据集只关注静态的监控并且已经过时了。VIVID是仅有的公开的航空数据集，但是也过时了，有许多局限性由于它较少的视频序列（9个），非常相似和低分辨率的序列，稀疏的标注，关注高空等等。总之由于好多因素，促成了这个数据集的出现。。。

对于模拟器 simulators以前的不支持这不支持那，但是UE4允许使用大量的后处理渲染步骤来创建逼真和具有挑战性的场景图像来模拟真实的无人机数据。尽管模拟器广泛应用于机器学习、动画和运动规划，然而用于合成生成视频或者用于跟踪器评测模拟是一个新的探索领域。

The Unreal Engine 4 (UE4) has recently become fully open-source and it seems very promising for simulated visual tracking due in part to its high-quality rendering engine and realistic physics library.

评估方法：
沿用OTB50的评估策略，precision(precision plot) and success(success plot) OPE SRE(spatial robustness evaluation)

我们的基于UE4的模拟器为在线性能测量提供了新的可能性，如图：

不像现实世界中无人机和目标定位不精确的场景(例如，误差为5-10米)，而它定量地比较了无人机在每一时刻的位置、方向和速度， 了解跟踪器对飞行动力学的影响。
尺度、纵横比变化、低分辨率 困难的挑战属性
速度：If frames are not processed fast enough, intermediate frames are dropped resulting in larger target displacement between frames, thus, making tracking more difficult.所以如果一个跟踪器很慢，在实际应用中会更慢，出现延迟，效果也会下降。
长序跟踪更差，使用长时或短时的记忆策略会好一些。
PID control setting

无人机跟踪会受到飞行阻力，惯性、重力和无人机设置等影响，在较高的高度，延迟有较小的影响。