【论文阅读】Learning High-Speed Flight in the Wild

Learning High-Speed Flight in the Wild：Science Robotics，2021，苏黎世大学

主要内容

提出了一种端到端的方法，通过纯机载传感器和计算，能够在复杂的自然和人造环境中高速自主驾驶四旋翼飞机。该方法可以使无人机以10m/s在复杂的环境下高速飞行，且高速时的故障率降低10倍。

核心工作

该论文认为现有的自主飞行系统是高度设计和模块化的。导航任务通常分为感知、映射、规划和控制。多模块简化了工程系统的实现，使每个组件能够并行开发，并使整个系统可解释。然而，模块化的代价很高：模块之间的通信引入了延迟，模块之间的错误复合，模块之间的交互没有被建模等等。
因此，论文提出端到端的学习方式，直接从传感器数据中学习，得出路径规划策略，过程中没有明确的建图和规划步骤。网络的训练样本是无人机在虚拟环境中飞行时，得到专家的飞行策略，从而模仿人的行为做出决策。

A.离线规划算法计算无碰撞轨迹的分布来跟随参考轨迹，轨迹的计算以完整的3D点云图为基础，通过Metropolis-Hastings采样得到。
B.通过深度图像、无人机的速度和旋转矩阵、目标点的方向，采用模拟学习对传感器进行训练，预测最佳的三条轨迹。
C. 将预测轨迹投影到多项式轨迹空间，并根据预测的碰撞代价进行排序，代价最小的将被模型预测控制器跟踪。如果多条轨迹碰撞代价相同，则选取驱动代价最小的一条。

创新点

1. 提出用一个神经网络取代传统的感知、映射和规划组件，增强了系统在传感器噪声下的鲁棒性，降低了延迟。
2. 提出模仿在仿真环境下专家对无人机做出的控制策略来训练神经网络，包括采样方法、神经网络体系结构和训练过程。
3. 考虑现实世界的传感器噪声，提出了一个抽象的，但足够丰富的输入表示，使得能够在模拟中训练出稳健的导航策略，并且这些策略可以直接传输到不同的真实环境中，而无需对真实数据进行任何微调。

实验评估

1. 实验平台
   计算平台：TX2，GPU运行神经网络，CPU负责其它模块
   传感器：Intel RealSense T265, Intel RealSense D435i和其集成的IMU
2. 在真实环境中的高速飞行
   
   
   在不同的现实环境中进行了测试，如上图所示，并且计算了成功率。无人机顺利到达目标点五米半径的范围内视为成功。以不同的速度做了56次实验，成功率如下图所示。
   
3. 规划成功率：在仿真环境下，建立不同场景，比较了论文中方法和其他路径规划算法的成功率。
   
4. 计算成本：前三行为运行在配备有i7-8700 CPU的笔记本上的运行时间，第三行*部分是使用GeForce RTX 2080 GPU运行的时间，第四行是在TX2上的运行。
   

关键技术

（可能和原文有一些出入）
为了在复杂且未知的环境中进行敏捷飞行，我们设计了一种根据传感器运动生成导航控制策略的系统，通过机载传感器测量值和参考轨迹，学习并训练深度神经网络，可以得到最优导航轨迹。参考轨迹由更高级的规划算法提供，它不一定是无碰撞冲突的，只表示无人机飞行的长期目标。无人机按照参考轨迹指定的方向飞行，同时根据环境调整其飞行路径。
无人机可观测的数据信息o包括深度图像d∈R^{(640×480)，飞行速度v∈R}3，飞行姿态q∈R^{9，目标飞行方向ω∈R}3。深度神经网络的输出是一组轨迹信息，这些信息包括导航的轨迹位置和相应的碰撞风险。然后，模型预测控制器以最低的碰撞概率和投入成本确定最优导航轨迹。

系统整体设计如上图所示，主要分为了三部分：参考轨迹生成：在仿真环境下提供环境点云图和无人机状态信息，通过路径规划算法生成可行的全局参考轨迹；策略学习：以无人机的机载传感器作为深度神经网络的输入，以参考轨迹作为真值进行有监督的学习，使其能够生成多条无碰撞轨迹；轨迹选择：结合飞行动力代价和碰撞成本，从多条无碰撞轨迹中选取最优轨迹。

参考轨迹生成

在仿真环境中，搭建无人机飞行环境的点云图，同时提供无人机状态信息，利用路径规划算法得到该环境下的全局规划路径即可作为深度学习模型的参考轨迹。参考轨迹的生成并不要求实时性，在离线的状态下生成可靠的参考轨迹即可。

策略学习

策略学习仅通过访问机载传感器实时生成无碰撞轨迹。可得到的传感器数据包括深度图像、无人机飞行速度和姿态、飞行目标方向。实时策略的生成使用一个深度神经网络进行学习，该神经网络具有两个分支。其中一个分支以深度图像作为输入，使用已经训练好的MobileNet-V3网络进行特征提取，并对特征向量进行一维卷积。另一个分支使用四层感知机和LeakyReLU激活函数处理飞行速度、姿态及飞行目标方向，并对其进行一维卷积。最后将两个分支得到的向量组合起来，再次经过不同的四层感知机和LeakyReLU激活函数输出未来10帧的局部轨迹τ_n和对应的碰撞代价c_k。这里生成的局部轨迹τ_n只包含接下来10帧图像中无人机的轨迹位置，表示为：

训练过程采用有监督学习，以参考轨迹作为真值，期望采用赢家通吃的策略得到最靠近参考轨迹的轨迹，损失函数为：

Т_e为参考轨迹，Т_n为策略学习网络输出的轨迹。另外，由C_collision训练了这些轨迹的碰撞成本c_k，因此，网络最终的损失函数为：

经过训练，策略学习可以在线实时得到多条最接近参考轨迹的无碰撞冲突轨迹。

轨迹选择

将策略学习得到的轨迹拟合成五次多项式，这种表示法加强了相对于当前状态的位置、速度和加速度的连续性，并且有利于无人机的动态可行性。
在这些轨迹中，要求其碰撞成本，并计算轨迹的投入成本，选择投入成本最小的轨迹。将选择出的轨迹输入模型预测控制器(MPC)确认轨迹的可行性，最终输出最优导航轨迹。