什么！复杂环境下的编队控制问题还能这样解决？

恭喜南京航空航天大学-王志伟同学，在参与阿木实验室校园赞助-Prometheu技术文章创作活动中成功入选，将获得阿木实验室现金奖励500元！现将相关文章内容分享给大家，鼓励更多的同学加入到我们校园赞助活动中来！

近年来，任务需求的多样化与复杂化让单个无人系统的信息获取、信息处理和任务执行能力受限，而多个智能无人系统通过协同工作，能够实现超过多个系统叠加的功能和效率。无人机-无人车系统可以描述为通过合作来实现一个共同目标的一组UAV和UGV，是最典型的异构多无人系统。无人机和无人车具有巨大的异质性和互补性，无人机拥有广阔的视野范围和快速侦查能力，但续航能力有限；无人车则具备较高的负载和续航能力，但速度较慢、视觉范围有限，并且受到靠近地面影响的通信距离和质量的限制。

无人机-无人车系统应用示意图

现有的空地协同编队算法主要基于差分GPS定位，通过无人机和无人车之间的信息交互实现协同运行。但是在复杂环境中，数据通信可能受到干扰，从而影响编队队形。为了解决这一问题，南京航空航天大学的研究人员提出了一种自适应模板匹配算法，利用图像伺服实现空地协同编队。这一算法有效地解决了在复杂环境中无法进行有效通信的协同编队问题。

基于图像伺服的空地协同编队算法框图

空地协同系统由高性能无人机和搭载停机坪的无人车组成。无人机配备了Jetson Xavier NX机载计算机、Intel T265视觉定位相机、下视单目相机、飞行控制器等设备。T265视觉定位相机提供无人机和无人车的三维位置信息，主要测试无人机和无人车在通信受限的情况下实现高效协同的算法。

根据图像伺服的空地协同编队算法框图，无人机需要进行三个模块的设计：定位信息模块设计、图像识别模块设计和控制模块设计。设计过程中使用了阿木实验室的Prometheus开源自主无人机软件系统平台，该平台基于PX4和ROS开发，实现了多个模块之间的数据交互，并搭建了完整的交互框架。在该框架中，可以编写自己的算法代码并快速部署测试。

• 定位信息模块设计：在px4_pos_estimator.cpp文件中，我们订阅了/t265/odom/sample话题中的数据。这个话题中的数据是由T265相机模块输出的定位信息。我们在t265_cb()函数中将这些定位数据存储起来，并通过send_to_fcu()函数将定位数据发送给飞控。此后，/prometheus/drone_odom中包含的定位数据即为T265的数据。通过获取精确的定位数据，我们为无人机的位置和姿态控制打下了基础。

• 图像识别模块设计：基于Prometheus软件包中的object_dection模块进行改进，object_dection模块中的ellipse_det可以实现对图像中所有圆和椭圆的识别。对算法做出的改进为：根据识别到的椭圆大小对模板进行自适应的放缩，使得模板图像与识别到的椭圆大小相同，然后遍历所有识别到的圆，即可识别无人车上的停机坪图像，得到停机坪图像在整个图像中的位置，并通过ROS话题/airport_det将图像数据进行发布，供规划节点进行处理。经过测试，在使用NVIDIA jetson xavier NX进行测试时可以拥有27FPS的性能，完全满足图像识别的实时性要求。

自适应图像模板匹配算法结果 1

自适应图像模板匹配算法结果 2

 

• 控制模块设计：规划节点接收到图像数据之后，计算出停机坪图像与图像中心点之间的偏差，转化为控制无人机xy方向的速度，控制z方向的高度，计算出控制量之后通过/prometheus/swarm_command话题发送控制指令，send_vel_xy_pos_z_setpoint(const Eigen::Vector3d& state_sp, float yaw_sp)函数最后将控制指令发给飞控，控制无人机对无人车的跟踪并降落在无人车上。

对Prometheus软件包中的terminal_control节点进行改进如图所示，通过修改状态机，当节点启动之后，开始运行状态机，然后切换为等待airport，如果识别到停机坪，则切换为跟踪状态，跟踪停机坪进行飞行。如果切入降落模式时，无人机会实时调整自己的姿态，保证可以降落在停机坪上方。

优化后的地面站控制界面

无人机状态显示界面

图像识别节点界面

为验证基于自适应图像模板匹配的空地编队算法，研究人员进行了室内无人机-无人车协同运行的实验。实验中，无人机和无人车的实时位置由T265相机提供。在无人机与无人车无有效通信的情况下，无人机根据自身位置和识别无人车搭载的停机坪图像相对于无人机的位置，解算出无人机的期望位置，以实现无人机对无人车的跟踪和空地高效协同。

基于自适应图像模板匹配的空地编队实验图

通过动作捕捉系统记录无人机与无人车的位置和运行速度数据，用于后续对比分析。

无人机运行的xyz方向上的位置曲线

无人机运行的xyz方向上的速度曲线

无人机运行的xyz方向上的加速度曲线

实验对比了动作捕捉系统记录的无人机与无人车的位置和姿态数据，结果显示，无人机的跟踪最大误差为0.23m，运行平均误差为0.184m。验证了基于自适应图像模板匹配算法在空地协同编队中的稳定性和准确性。

- END-

阿木实验室校园赞助计划

阿木实验室校园赞助计划主要对象为参与Prometheus开源项目或在相关技术领域获得荣誉成果的用户。该活动分为两部分，分别是技术文章创作和论文奖学金，根据活动规则可分别获得一、二、三等奖的奖励，奖金最高可达10000元，欢迎大家踊跃咨询。

阿木实验室，公众号：阿木实验室阿木实验室校园赞助，万元奖学金等你来挑战！

往期推荐:

拦截非合作机动四旋翼的最优末速控制制导律

智能放牧无人机&多旋翼无人机发展趋势

视野约束下多机器人系统的最小持久图生成与编队控制