无人机感知与规避技术综述

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转自|新机器视觉

摘 要：无人机广泛应用于军事侦察、打击以及民用航拍、植保等各个领域，无人机对飞行安全的影响已成为关注热点。无人机感知与规避技术可为无人机提供障碍物探测和碰撞告警能力，是保障飞行安全的关键。本文系统地介绍了无人自主感知与规避系统的组成和基本功能，并对其未来发展进行了展望。

0 引言

无人机（UAV）是一种无人机驾驶的空中飞行器，通常由无线电遥控或自身程序控制。由于无需安装飞行员相关的设备，无人机除了具备常用空中飞行器活动空域大、运动速度快的普遍特征以外，还具有尺寸小，重量轻、隐蔽性好、适应性强等特点。

 

在军用领域，无人机能全天候、全空域执行侦察、预警、通信、精确打击、战斗支援、救援、补给甚至自杀性攻击等多种任务，在现代战争中的作用越来越显著。在民用领域，无人机也可广泛应用于航拍、警力、城市管理、农业、地质、气象、电力、抢险救灾等领域[1]。

 

但是，制约无人机在军事和民用各个领域推广应用面临的飞行安全问题十分突出。随着无人机的大量使用，中低空以及超低空的空域越来越“拥挤”，无人飞行器与其他物体发生碰撞的风险与日俱增，造成了极大的安全隐患[2]。

 

由于无人机上无飞行人员承担障碍物检测以及规避的职责，无人机系统只能依靠机载传感器来完成障碍规避，这个过程就是“感知与规避”，承担这一职能的系统被称之为“感知与规避系统”。

 

感知与规避系统对无人机系统的自主飞行安全至关重要。世界各国都已认识到无人机自主感知与规避技术是推动无人机应用发展的关键因素[3]。2017年10月25日，美国启动了无人机系统整合试点项目（The Unmanned Aircraft Systems Integration Pilot Program），旨在将无人机系统快速整合至国家空域，无人机感知与规避能力就是该项目的重点评估科目之一。

 

1 无人机自主感知与规避系统

“感知与规避”是指无人机能够探测在其安全邻域或空域监视范围内是否存在障碍物（包括静止地物或运动的其它飞行器），通过分析自身和障碍物的相对运动状态，由操作手或自动进行分析决策，从而解除潜在的碰撞危险[4]。

 

无人机自主感知与规避系统通常包含感知系统、决策系统、航路规划系统三部分[5]，工作过程一般是：首先通过感知系统来探测是否存在障碍物,当存在障碍物，则检测出障碍物的距离、角度、速度等信息；然后由决策系统根据感知系统获取的信息，判断障碍物是否影响飞行安全，并决定是否需要对航路进行重新规划；如果需要进行重新规划，则由航路规划系统通过综合本机以及外部信息，调整航路以规避碰撞，整个流程如图1所示。

     

   

图1 感知与规避系统工作流程图

 

2 感知系统

感知系统是无人机感知与规避系统中第一个环节，需要检测并获取障碍物信息，为决策系统提供支撑。感知系统按工作方式的不同，可分为合作式和非合作式两种。

 

2.1 合作式感知系统

 

合作式感知系统要求空中飞行器都携带协同式传感器，以完成目标检测，如飞机交通警戒和防撞系统（TCAS）、广播式自动相关监视系统（ADS-B）等。

 

（1）飞机交通警戒和防撞系统（TCAS）

 

TCAS是独立运行的交通防撞和告警系统，飞机上需装备A/C询问应答机和TCAS天线。TCAS会主动发出询问信号，当其他飞机的应答机接收到询问信号时，会发射应答信号；询问方接收到应答信号后，TCAS处理机根据发射信号和应答信号的时间间隔来计算距离，同时根据天线指向确定方位，从而确定目标飞机的位置。但由于TCAS系统的探测范围局限于加载有应答机的飞行器进行通信，且受TCAS天线尺寸限制，角度测量误差较大，单独的TCAS系统并不能完成无人机空域障碍感知的任务。

     

（2）广播式自动相关监视系统（ADS-B）

     

广播式自动相关监视系统（ADS-B）是一种装载于飞行器上的监视系统，它将全球卫星定位系统（GPS）、惯导系统（INS）等机载航电设备获取飞机的四维位置信息（经度、纬度、高度、时间），以及飞机自身的状态信息（速度、方向等）等数据，以广播方式向外发送，提供给周围的飞机或地面用户接收和显示。

 

ADS-B系统不仅能够监视空域中装载有ADS-B设备的飞行器，而且通过与空中交通管制系统（ATC）的交联，能够获取飞行空域的天气、地形、空域限制等飞行信息[6]。因此，根据ADS-B系统提供的飞行规程、ATC信息、空域内其他飞行器详细信息，能够实现无人机的路径规划、空域目标感知、威胁评估、冲突规避等。另外，ADS-B系统可以将无人机纳入ATC的监管和管理，有利于飞行空域安全。国际民航组织（ICAO）已将其确定为未来空域监管技术发展的主要方向，国际航空界正在积极推进该项技术的应用。

 

2.2 非合作式感知系统

 

当载机与障碍物之间无法进行信息交互时，需要通过非合作式感知系统进行自主检测，非合作式感知系统通常采用雷达、激光和光电等传感器。

     

（1）雷达

 

雷达系统是一种主动探测设备，利用电磁波的反射来检测障碍物，该电磁回波中包含有障碍物目标方向大小、相对距离等信息，并具有探测范围广、全天候、全天时工作的特点，然而雷达系统通常体积、功耗较大，无法适用于中小型无人机系统，且目标精确识别能力有限。

 

（2）激光

 

激光传感器具有精度高、单向性好等优点，机载激光感知系统通过向目标发射激光光束，将接收到的反射光束与发射光束对比分析得到目标的距离，进一步处理后，可得到目标的方位、速度、形状等参数。激光传感器不易受气流影响，但易受到烟雾、灰尘和雨滴的干扰。目前，激光传感器在军用和民用感知与避障系统中都有一定的应用。

 

激光雷达结构简单，速度快重量轻。文献7中作者对日本Hokuyo公司的URG-04LX雷达进行了分析：URG-04LX工作波段为785nm，扫描半径为4m的240°扇形区域，角分辨率0.36°，距离测量精度10mm并采用一种基于角度对应关系的估计算法（Polar Scan Matching,PSM）,可以得到四旋翼无人机在复杂情况下的相对位置与姿态信息。该算法的收敛速度快，迭代时间短。此外，经典算法还包括迭代最近点算法（Iterative Closest Point,ICP）、基于迭代的最小方差算法（Iterative Dual Correspondence,IDC）等。其中PSM算法在部分的三维空间内计算速度优于ICP算法。

 

以上算法都是基于即时定位与地图构建（Simultaneous Localization and Mapping,SLAM）思想的路径规划方法，而在应用于随机出现的运动物体情况下，也可以直接基于成像点云进行伺服动作以规避，而不必迭代计算无人机相对位置。

 

（3）光电

 

光电传感器采用光电元件将目标场景的光信号转化为电信号，具有被动无源的特点，且所获取的图像中含有丰富的细节消息，对操作手而言是最直观的一种传感器系统，也是当前军用大型无人机非合作目标感知与规避系统必不可少的传感器[8]。高分辨率可见光CCD相机作用距离远、分辨率高、隐蔽性好，是无人机感知障碍物的首选，但其无法全天候、全天时工作，因此目前主流的机载光电系统通常包含一个高分辨率的可见光 CCD传感器和一个较低分辨率的红外热像仪。红外热像仪能根据各类目标和背景辐射特性的差异，完成对障碍物的全天候探测和识别。

 

由于单个光电传感器所获取的图像丢失了深度信息，无法直接获取目标的距离信息，因此需要采用多个传感器采用立体视觉的方法实现障碍物精确信息的获取，或与激光、雷达传感器配合使用[9]。

 

   

图2 双目视觉算法原理

 

 

图2所示的是双目视觉算法的基本原理，其中P代表目标，OL和OR分别代表镜头光心，f代表镜头焦距，D代表目标到两个镜头连线的垂直位置，T代表基线距离，d表示左右两个镜头的视差值，d = x l - x r 。通过公式 D = T * f/d可以算出目标距离。

 

双目视觉的最大优点在于三维匹配技术[10]，它能够用来感受空间中场景的深度和距离信息。因此，有关双目视觉的算法层出不穷。在文献 11中作者对一些最优估计的理论方法进行了讨论。匹配算法一般可以分为局部立体匹配算法和全局立体匹配算法。局部立体匹配算法是基于窗口的算法，选择图像的局部特征作为最优估计的依据；全局立体匹配算法的最优化依据不局限于窗口之内。其中基于动态规划的立体匹配（Dynamic Programming）、棘突图割法的立体匹配（Graph Cuts）比较有代表性。

 

但是，这些算法所能实现的高精度定位和导航，严重依赖图像摄像机的精度、立体匹配算法的高准确性和实时性、测距和目标识别的精度等，目前还存在不小的挑战。

 

大疆科技的精灵4无人机采用了立体视觉的方式实现感知与规避，无人机装有两套双目立体视觉系统，一套向前看，一套向下看，一共 4个相机，向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置，并计算无人机的准确飞行高度；向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度，产生深度图进行障碍感知。

 

2.3 多源信息融合的感知系统

 

有效的无人机感知系统通常包含多种传感器，多源信息融合可以对来自于多个传感器的数据进行多层次、多级别和全方位的综合处理，得到对环境的最佳描述。无人机上的各种感知系统都可获取障碍物的部分信息，通过多源信息融合，将各种实时或者非实时、速变或渐变、模糊或准确、相似或矛盾等不同特征的传感器信息、测量数据、统计数据、经验数据进行融合处理，通过聚类方法或卡尔曼滤波对空间或时间上的冗余或互补信息进行处理，以获得空中潜在威胁目标的一致性的解释或描述。

 

多源信息融合的感知系统综合了无人机机载导航信息、雷达/光电数据、TCAS、ADS-B信息，有效地利用了多传感器资源信息的互补性，从而可以获得空中潜在威胁目标更为全面的信息，确保实现更安全更可靠的规避。

 

3 决策系统

决策系统主要负责根据感知系统提供的信息，判定障碍物对自身的威胁程度，常用的判定依据包括：

 

（1）相对高度差；

 

（2）相对距离；

       

（3）相对距离变化率，即相对速度；

 

（4）预留时间，即相对距离与相对速度之商。

     

预留时间至关重要，按空中交通管理系统规定，可将障碍物威胁等级划分为4级[4]。

 

（1）其他交通目标级别：相对距离大于 6海里或相对高度差大于1200英尺，无碰撞危险；

 

（2）接近交通目标级别：相对距离小于 6海里或相对高度差小于1200英尺，无碰撞危险；

 

（3）交通警戒级别：预留时间为35～45s，存在潜在碰撞危险，需提前做出规避决策；

 

（4）规避决策级别：预留时间为20～30s，存在潜在碰撞危险，必须做出规避决策。

4 航路规划系统

基于障碍规避目的的航路规划是指无人机根据感知信息得到的威胁目标的运动状态，以及碰撞规避点、碰撞预留时间等，同时考虑燃油、无人机机动特性确定一条最优路径的过程。其本质是一类多约束优化问题，算法种类繁多，人工势场法是应用较为广泛的一种算法。

 

人工势场法是一种虚拟力场法。它通过引入物理学中场的概念，在任务空间中构造势场。在势场中无人机受到目标位置的引力作用向目标点移动，障碍物对无人机的作用是斥力场作用，使其不碰撞障碍物。沿着势场函数下降的方向搜索无碰撞、安全路径。作用在无人机上的力为引力与斥力的合力，根据合力的作用确定无人机的运动方向，同时计算出无人机的位置。人工势场算法计算简单快速，适用于动态和静态障碍环境[12]。

 

与其他三维航路规划算法相比，其具有显著的优点：首先，人工势场法在规划航路时只需根据势力场计算当前位置受到的合力，结合当前无人机运动状态进行避障规划，所以其最显著的特点是计算量小、运算速度快。其次，利用人工势场法可以得到平滑而安全的航路，而其他航路规划算法不仅需要对航路进行平滑操作，可能还需要重新进行最小直飞距离、最大爬升角度等飞行安全性能检测。

5 总结与展望

 

无人机自主感知与规避技术涉及传感器设计、信号与信息处理、环境感知、目标检测/识别与跟踪、障碍物威胁评估、航路规划等诸多领域，同时也涉及空域管理、飞行安全规划等政策法规，是一个复杂的系统工程。随着无人机在军民领域的广泛应用，自主感知与规避能力会成为无人机必不可少的功能。

     

当前合作式感知系统和非合作式感知系统都得到了很大的发展，TCAS可以获得更多、更准确的信息，雷达和光电都可探测得更远、更准，多源数据的实时融合将是下一阶段的主要发展方向。

     

航路规划系统主要依据感知系统的信息进行推导，因此如何充分发挥感知系统各种传感器的特性是接下来要解决的问题。

 

从无人机感知与规避系统的整体结构来看，外部信息首先由传感器获得并进行处理，然后处理后的信息将被传输到决策系统进行判断，最后决策系统发出的指令将传输到航路规划系统。在整个过程中，任何一个环节上信息传输的延迟都有可能降低感知与规避系统的总体表现。因此，如何提升感知与规避系统对于信息传输延迟的鲁棒性也是非常重要的一点。

 

从整个系统功能上来看，无人机自主感知与规避系统应主要朝着以下方向发展，以提高系统的智能化程度。

 

（1）可规避的障碍类别更广；

 

（2）可适应各种使用环境；

 

（3）缩短系统判定周期，避免无人机突然的机动。

     

参考文献：

 

[1]朱立华.无人机自主检测与避障技术研究[D].东南大学,2016.

 

[2]闫晓东.基于视觉的四轴飞行器自主避障系统的研究与实现[D].电子科技大学,2018.

 

[3]惠国腾.基于性能的旋翼无人机避障关键技术研究与应用[D].中国民用航空飞行学院,2018.

 

[4]李耀军,潘泉等.基于多源信息融合的无人机感知与规避研究[A].第二十九届中国控制会议论文集[C].北京,2010.

 

[5]毕红哲,张洲宇等.无人机感知与规避技术研究进展[J].电子测量与仪器学报,2016,30(5):661-668.

 

[6]朱海峰.基于立体视觉的无人机感知与规避研究[D].西安:西北工业大学,2016.

 

[7]郭芳.复杂环境下四旋翼无人机定位研究[D].天津大学,2012.天津

 

[8]韩静雅,王宏伦等.基于视觉的无人机感知与规避系统设计[J].战术导弹技术,2014,5:11-19.

 

[9]何守印.基于多传感器融合的无人机自主感知与避障研究[D].北京理工大学,2016.

 

[10]王淏.基于双目视觉的无人机障碍物检测研究[D].兰州理工大学,2018.

 

[11]苏东.基于双目视觉的小型无人飞行器的导航与避障[D].电子科技大学,2014.

 

[12]李竺袁.民用无人机自主飞行避让算法研究[D].中国民用航空飞行学院,2018.

 End 

好消息，小白学视觉团队的知识星球开通啦，为了感谢大家的支持与厚爱，团队决定将价值149元的知识星球现时免费加入。各位小伙伴们要抓住机会哦！

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~