动态环境下基于强化学习的无人机任务路径规划

路径规划主要是指无人机环境中存在威胁障碍物。然后，规划无人机从起点到目的地避开障碍物的最佳路线也是无人机实现自主飞行的主要因素之一。在无人机的任务分配中，主要目的是增强无人机的时间性能和环境适应性。对于无人机的路径规划水平，修改和改进算法可以提高无人机的整体性能，进而改善无人机工作过程中平滑飞行路径的选择，从而提高工作效率。

动态环境下强化学习无人机任务和威胁的分配

在具体的实际应用中，首先检测障碍物，然后对障碍物做出适当的反应。因此，无论无人机在任何环境中的哪个位置，只有避免损坏机身，它才能正常执行所有任务。在无人机执行任务的过程中，由于任务难度不同，无人机可能无法完成。此时，需要多架无人机同时执行一项任务。多个无人机可以通过它们之间的信息传输更好地执行任务。但是，无论是一架无人机还是多架无人机，其核心都是管理和实施无人机的内部系统。无人机系统内部框架如图1。

图1 无人机系统内部框架结构管理流程图

从图2中可以看出无人机分析判断障碍物发出的信号的威胁区域、相对安全区域和安全区域，然后做出飞行路线改变动作。在无人机进入工作状态的过程中，经常会遇到地形障碍物和信号障碍物的威胁。因为在执行任务的过程中，无人机不可能有顺畅的流动。应始终考虑地形因素。

图2 障碍物信号威胁模型

上述两种不同障碍物在无人机运行过程中传送到计算机的碰撞率和任务成功率如图3所示。从图3中可以看出虽然在执行任务过程中没有发生碰撞，但无人机成功完成任务的概率随着障碍物的增加而逐渐降低。这也说明，障碍物对无人机的威胁是必然因素。

图3 无人机工作碰撞率和任务成功率

无人机可以处理接收任务的成本，然后处理任务分配时间和排序。在任务处理过程中，传输到计算机的任务时间分配数据如图4所示。从图4中可以看出无人机在面对不同的任务分配时可以灵活地解决任务。明确不同时间无人机任务的分配也更直观。

图4 无人机任务瞬时分配数据图

 

动态环境下基于强化学习的无人机路径规划与优化

本文新增的两种算法分别为匈牙利算法和人工势场法，并作进一步优化。匈牙利算法主要提高无人机内部系统的通信传输速度，而人工势场法提高了整个无人机内部系统的计算速度。只有当通信和计算数据的速度加快时，无人机才能更好地规划飞行路径。在无人机中实现匈牙利算法的具体过程如图5所示。

 

图5 在无人机中实现匈牙利算法的具体过程

根据上述针对无人机内部系统优化的匈牙利算法，无人机在动态环境下的实际应用中取得了良好的通信传输性能。为了更直观地看到无人机在实际应用中路径规划的具体情况，将无人机的飞行轨迹数据传输到计算机，得到无人机的飞行数据轨迹，如图6所示。

图6 无人机飞行数据轨迹

为了看到无人机在多方面和角度加入优化算法后的整体变化，还对无人机在任务执行过程中产生的总能耗进行了数据对比，如图7所示。从图7中可以看出没有优化算法的无人机在任务开始时能耗很高，由于工作时间的增长，所需的能耗也达到了非常高的值。采用优化算法的无人机在飞行任务中，与未采用优化算法的无人机相比，整体能耗降低了一半，这也可以使无人机在有限的时间内更好地完成分配的任务。

图7 无人机运行期间飞行能耗对比图

无人机采用优化的人工势场算法后，进行实际任务仿真，反馈路径规划数据如图8所示。从图8中可以看出无人机正在为不同的障碍物规划路线。通过添加优化的人工势场算法，无人机可以更快地规划和设计路径。更大程度地保证了无人机的安全性。

图8 实际任务模拟反馈的路径规划数据图

动态环境中无人机任务和威胁的分配

在整个实验中，我们主要关注无人机在模拟工作状态下能否准确感知目标障碍物的存在。最终的实验结果被传输到计算机形成的数据中，如图9所示。从图9中可以看出无人机在三种不同的工作环境中处理同一任务时反馈的障碍物数据是不同的。在第一个环境中，由于障碍物模型设置较少，无人机在执行任务时修改原始计划路线的更改较少，完成时间更快。在第三种环境中，虽然目标障碍物模型很多，但无人机可以准确检测障碍物的存在。综上所述，本文研究的强化学习无人机在动态环境下的任务和威胁分配过程更适合实际应用，具有更好的探测性能。

 

图9 无人机感知目标障碍物比图

动态环境下的无人机路径规划与优化

本文实验测试中产生的无人机系统内部数据处理和计算的波动幅度如图10所示。从图10中可以看出动态环境下强化学习无人机路径规划与优化的研究成果是3种无人机的数据处理状态。优化后的无人机在数据传输和计算过程中速度最快，而其他两类无人机的数据传输和计算快车较慢。

 

图10 无人机系统数据处理与计算的波动范围

优化后的无人机系统在数据计算和传输方面较好，也表明无人机能够快速规划和处理飞行路径，适合实际应用。但是，仍然存在许多缺点。例如，在动态环境中，无人机同时遇到太多障碍物。无人机系统收集的数据会混合在一起，导致内部系统混乱。解决这种情况仍然是一个大问题。在今后的研究和分析中需要进一步分析。

源自：Journal of Function Spaces Volume 2023, Article ID 9708143, 11 pages https://doi.org/10.1155/2023/9708143