「机器人感知与控制关键技术」最新2023研究综述

来源：新机器视觉
本文约8500字，建议阅读10+分钟
本文从智能机器人的感知与控制等关键技术的视角出发，重点阐述了共性关键技术的国内外发展现状。

作者：王耀南，江一鸣，姜娇，张辉，谭浩然，彭伟星，吴昊天，曾凯
来源：自动化学报智能机器人在服务国家重大需求，引领国民经济发展和保障国防安全中起到重要作用，被誉为“制造业皇冠顶端的明珠”。随着新一轮工业革命的到来，世界主要工业国家都开始加快机器人技术的战略部署。而智能机器人作为智能制造的重要载体，在深入实施制造强国战略，推动制造业的高端化、智能化、绿色化过程中将发挥重要作用。本文从智能机器人的感知与控制等关键技术的视角出发，重点阐述了机器人的三维环境感知、点云配准、位姿估计、任务规划、多机协同、柔顺控制、视觉伺服等共性关键技术的国内外发展现状。然后，以复杂曲面机器人三维测量、复杂部件机器人打磨、机器人力控智装配等机器人智能制造系统为例，阐述了机器人的智能制造的应用关键技术，并介绍了工程机械智能化无人工厂、无菌化机器人制药生产线等典型案例。最后探讨了智能制造机器人的发展趋势和所面临的挑战。00  引言近年来，智能机器人作为国民经济与社会发展的基础性与战略性产品。在服务国家航空航天、轨道交通、海洋舰船、工程机械制造等领域重大需求。引领国民经济发展和保障国防安全中起到重要作用。被誉为“制造业皇冠顶端的明珠”。随着新一轮工业革命的到来以及人工智能、云计算、物联网等技术快速发展。机器人技术受到美国、欧盟等世界发达国家的高度重视。同时世界主要工业国家都开始加快机器人部署的步伐。2013年。德国率先提出“工业4.0”。旨在推动工业现代化和数字化转型。在新一轮工业革命中占领先机；2017年。美国推出“国家机器人计划2.0”。强调机器人可扩展性。通过多机器人协作实现复杂环境下分布式的感知、规划、行动和学习。提升机器人的作业范围。2020年美国发布的“机器人发展路线图”以及2021年发布的“无尽前沿法案”。均将机器人与先进制造技术列为发展重点；而欧盟早在其“火花计划”、“地平线2020”等计划。以及日本发布的“机器人新战略”。都着重强调了机器人的作业能力；此外。我国的“智能制造2025”等。也明确了机器人在推动制造业智能化转型升级中将发挥重要作用[1−3]。机器人感知与控制是实现机器人智能化作业的关键核心技术。机器人需要感知周围环境和识别作业对象。从二维到多维信息的感知和融合。实现快速、精准的环境感知和目标识别。充当机器人系统“眼睛”。感知环境之后。结合智能规划决策和自适应控制等方法。像“大脑”一样为机器人系统提供最恰当的控制命令。以使得机器人做出相应的动作和反应。近年来，随着深度学习、大数据、智能控制等技术的快速发展。机器人的智能感知与自主作业的水平也在迅速提升。如DeepMind开发的AlphaGo。可以让机器人在不断的游戏中自我学习与提高。从而实现更加智能的决策与控制；特斯拉的人形机器人。其搭载了激光雷达、摄像头、超声波传感器等。用于感知周围环境和避开障碍物。还配备了一个自主学习系统。可以不断学习和改进自己的行为和决策。从而更好地适应不同的任务和场景；波士顿动力的Spot机器狗。可以与人类进行互动。如识别和追踪人类。并在人类的指示下执行指定任务如检查和搬运物体。当前，云计算、物联网和大数据等新兴信息通信技术快速发展。为机器人的高端制造应用提供了新的思路和发展契机。数字化、网络化、智能化融合创新引领未来工业发展已取得广泛共识。我国在《十四五规划和2035年远景目标纲要》也明确提出要“加快推进制造强国、质量强国建设。深入实施智能制造和绿色制造工程。发展服务型制造新模式。推动制造业高端化智能化绿色化”。而传统的人工以及专机加工。加工质量一致性差、效率低且只能实现小批量生产。已无法满足智能制造需求。区别于传统工业机器人简单、重复性劳动。高端制造机器人是更信息化、网络化、智能化、柔性化的机器人[4]。在智能工厂中，机器人的作业环境日益非结构化。作业工序趋于柔性化，作业对象日趋定制化，生产的动态性对机器人的环境感知与控制技术提出了越来越高的要求。在未来的智能工厂中，变批量、多品种、定制化、高柔性的生产模式将成为主流。机器人也将得到更加广泛的应用。机器人感知与控制技术为智能工厂的高适应、高精度、智能化作业提供保障。01  智能制造机器人共性关键技术 1.1 机器人感知关键技术 视觉感知是机器人系统的重要组成部分，在复杂的三维工业场景中利用视觉传感器获取周围环境的真实空间信息，并进行预处理、配准融合以及空间场景表面生成等过程，实现对外界环境真实的刻画及数字模型的重建，为机器人在工业制造中提供丰富的二维和三维信息。智能制造机器人通过视觉等感知系统，具备了实时观察作业场景的能力，可以极大地增强其智能化程度，如图1所示。本节将对双目三维环境感知、3D点云配准、位姿估计等技术进行介绍。1.1.1 三维环境感知三维环境感知是计算机视觉领域的核心，它通过模拟人类双眼视觉系统的观测原理，利用双目相机对获取图像进行立体匹配得到图像中像素点的准确视差，结合双目相机参数获取周围环境的准确深度信息，并利用机器学习算法实现场景目标感知识别与定位(图2)。机器人通过双目视觉感知系统，具备了实时观察作业场景的能力，极大地增强了其智能化程度，能够更加智能地完成复杂非结构化作业环境下的各种加工作业任务。双目立体匹配算法可划分为匹配代价计算，匹配代价聚合，视差计算，视差优化等四个步骤[5]。匹配代价计算通过找出参考图像(通常为双目图像的左图像)中待匹配像素与目标图像(通常为双目图像的右图像)中候选像素的匹配对应关系。为了提高匹配代价计算方法的鲁棒性，代价匹配函数[6−7]以像素为中心的局部邻域窗口为匹配单元，计算参考图像与目标图像中对应匹配像素间的相关性。Martin等[6]提出一种零均值归一化互相关代价函数方法，可以补偿图像局部增益的变化，并且可以消除高斯噪声的影响，同时保持像素值的空间仿射一致性。Zabih和Woodfill[7]提出了Rank变换，利用局部区域像素值的相对次序性统计信息来实现匹配代价计算。匹配代价聚合[8−10]主要通过对匹配代价空间进行代价聚合来减少错误匹配或歧义匹配的像素区域。由于单个像素匹配代价的不稳定性，代价聚合往往在代价空间中通过对局部邻域内的匹配代价进行加权聚合，来提高立体匹配算法的性能。Tomasi等[8]利用边缘等特征信息，采用传统的双边滤波器算法实现代价聚合。Zhang等[11]提出一种基于非规则局部十字臂区域的代价聚合算法，能够很好地利用场景的结构和轮廓等特征信息，减少深度不连续区域的视差估计误差。视差计算通常使用WTA(Winner take all)策略选取最佳匹配视差，但是直接使用WTA方法来计算视差可能会导致视差估计误差大。因此，为了获得准确的视差估计结果，视差计算通常可以转化为能量最小化与优化问题，通过构造能量函数，求取能量函数的最小化来确定最优视差，如基于图割[12]的视差优化方法、基于置信度传播[13]的视差优化方法、基于动态规划[14]的视差优化方法和基于随机行走[15]的视差优化方法。视差优化是双目立体匹配算法的后处理步骤，来进一步优化细化预测视差图的误差。常用视差后处理算法主要包括基于分割[16]算法和基于置信度度量[17−19]算法。基于分割的视差后处理方法通过利用双目图像的边缘和轮廓等图像细节特征信息，来引导视差优化算法细化视差估计错误，进一步提高双目立体匹配方法的性能。如Yan等[20]提出一种基于超像素分割的视差优化算法来解决双目立体匹配遮挡的问题。该方法利于超像素分割算法来提取图像的边缘和轮廓特征信息，并结合超像素分割图预测出粗糙的视差结果，利用马尔科夫随机场在粗糙视差图的3D邻域空间中检测并优化遮挡目标的匹配视差。场景目标感知算法主要利用机器学习算法实现场景目标感知识别、检测与定位。如Yang等提出一种基于深度学习的单阶段目标检测网络模型，通过建立一种目标预测解耦检测新范式，来合理推断不同目标的最合适位置，实现目标识别与定位[21]。Wang等提出一种新型边缘保持和多尺度上下文神经网络，高效生成具有尖锐对象边界的显著性特征图，实现高精度目标检测，解决传统基于像素的卷积神经网络(Convolutional neural network，CNN)方法由于卷积层和池化层而产生的模糊边界问题[22]。装备双目视觉感知系统的机器人可以作为智能制造自动化生产线中的生产作业单元，承担产品、元件和零部件等目标物体的测量、检测、识别与引导加工等作业任务。根据机器人双目视觉感知系统的应用场景，可将其划分为识别、检测、测量与定位等四个方面的应用场景；1）基于双目视觉的识别功能[23]是指识别目标物体的物理特征，包括形状、颜色、字符、条形码等，其准确性和识别速度是衡量的重要指标，广泛应用于机器人自动化产品识别、分类与分拣中。2）双目视觉检测系统[24]具有非接触、高效、低成本、自动化程度高等优点。基于双目视觉的机器人自动化检测能够替代传统的人工检测，解放人工，去除人工抽检带来的低效、误检与漏检等问题。3）通过基于双目视觉的精密测量系统[25]，机器人可以获得加工作业对象的形状、位置、尺寸和方向等作业信息，比如打磨、焊接、铣边等加工目标的余量测量，然后进一步在视觉的引导下进行加工作业。4）基于双目视觉定位的机器人作业[26]是指通过双目视觉获取目标物体的坐标和角度信息，自动判断物体的位置，来进一步引导机器人抓取、搬运、焊接与装配等。1.1.2 3D 点云配准技术 3D 点云配准在工业场景具有重要应用，通过求解出同一坐标下不同姿态点云的变换矩阵，利用该矩阵实现多视点扫描点云的精确配准，最终获取完整的3D数字模型，在三维测量、逆向工程、即时定位与建图等领域有诸多应用。1.1.3 位姿估计技术 机器人在智能工厂中准确完成上料、装配、分拣、搬运任务，必须利用视觉系统从作业场景中检测出目标物体并预测其三维位姿[49]1.2 机器人规划关键技术在智能工厂中，机器人安全合理的运动规划和任务分配是实现高效、稳定和安全完成复杂作业任务的重要基础。在执行制造任务时，考虑到狭小空间以及机器人复杂多维结构，如图4所示，机器人有自主运动规划能力，能够实现避碰规划，满足由机械结构环境等带来的运动限制，是机器人在智能工厂中运行的必要因素。1.3 机器人控制关键技术 在智能工厂中，机器人的控制性能不仅影响到最终的加工效果，还影响到加工过程的安全。高精、高效、高柔性、高稳定性的控制策略为工件的安全制造提供了保障(图4)。02  智能制造机器人应用关键技术 2.1 复杂部件机器人三维测量三维测量在工业制造领域有大量的应用，按照基本功能可以分为尺寸测量、表面测量、坐标测量[114]。目前主流的工业三维测量方法包括，激光跟踪仪、激光三角测量、摄影测量系统、结构光、飞行时间技术等，图6为工业三维测量技术发展历程。三维测量包括数据获取、数据处理、测量分析等主要过程，然而由于传统手工测量方式在数据获取过程缺乏自主性，需要引入视点规划、点云配准等技术，提高机器人三维测量的智能自主化程度。2.2 复杂部件机器人力控磨抛 磨抛加工是表面改性技术的一种，能够有效提高部件表面的平整度和光洁度，获取特定的表面粗糙度，消除焊接等加工过程中产生的应力，具有柔性灵活性强、作业效率高、加工一致性好等优点。KUKA、ABB、FANUC、YASKAWA等机器人企业均开展了磨抛机器人的应用研究。如图9(a)所示，KUKA公司研制的KR 120 R2900 Fextra机器人，通过将该机器人和负荷能力为750kg的三轴式定位装置，在不损伤工具且毛刺外形不同的情况下，能够确保高标准、高质量完成打磨任务。如图9(b)所示，奥地利FerRobotics公司开发了基于气控系统的浮动打磨与抛光末端系统，实现在单一方向上的快速浮动打磨与抛光，浮动力控制精度最高可达到1N，用户通过快速简便的编程，在提升质量的同时节约更多成本。如图9(c)所示，加拿大ESI公司依托自研的协作机器人，开发了E-Stial柔性打磨机器人工作站，利用实时力控反馈、精密轨迹调整、精密接触力调整等先进技术实现了安全、稳定、高效的抛光打磨作业，克服了传统磨抛方式调试时间长、成品质量不一致等缺点。美国Carnegie Mellon University[133]等科研机构从前沿理论探索的角度对磨抛机器人进行了研究。文献[134−135]设计了磨抛机器人模糊PID控制方法，采用末端位置和关节角度参数设计模糊规则，使PID控制器参数在每次采样时在线更新，提高了系统的响应速度和稳态精度。基于模糊逻辑方法[136]和基于机器学习的方法[137]被用于对磨抛机器人关键模型信息进行估算，从而减小对于模型信息的依赖。国内的科研机构也对磨抛机器人的相关技术开展了持续的研究，华中科技大学陶波教授等针对大型风电叶片加工区域大、形状复杂、任务规划难等问题，提出了基于几何及任务信息的大型复杂构件加工区域划分方法[138]。Zhao等以风电叶片表面打磨为应用背景，构建了大型复杂构件机器人移动打磨硬件系统，并在风电叶片表面打磨实验中进行了系统性验证[139−140]。2.3 机器人柔顺智能装配 轴孔类零部件装配是工业机器人应用的重要场景。传统机器人装配按照示教或者离线编程所设定的动作进行，难以适应不断变化的环境。为满足小批量多品种的生产模式，完成更加复杂的装配任务，现有研究通过将视觉传感器、力传感器和工业机器人结合应用，使机器人具备对周围环境高度感知的能力，能够根据环境变化做出相应调整Dietrich等建立轴孔接触状态与力信息的关系图，通过关系图纠正轴孔之间的位姿误差，完成轴孔装配任务[141]。Liu等提出了基于螺旋插装策略的飞机尾翼轴孔装配方法[142]。Lefebvre等[143]提出机器人主动柔顺控制方法，通过接触状态规划结合力控算法，能够实现自主装配运动。Abdullah等[144]建立了装配过程中轴孔之间的相对位置与接触力/力矩的映射关系，并根据人为制定的决策规则来规划装配运动轨迹。近年来基于强化学习的机器人装配方法也受到广泛关注。传统机器人装配方法中不具备自学习的能力，强化学习算法通过控制机器人和环境不断接触试错学习到合适装配策略，能够自主完成复杂装配任务。Inoue等提出了基于深度强化学习的高精度轴孔装配方法，利用长短时记忆网络和强化学习算法结合有效的现实机器人装配任务[145]。Chen等提出了一种基础策略迭代的强化学习方法，实现了具有未知系统动态的连续时间系统的稳定控制[146]。Luo等提出了面向齿轮的轴孔装配任务的机器人控制器，通过最优控制方法生成装配过程中的运动轨迹，能够通过几次训练稳定的完成装配任务[147]。03  智能制造机器人典型应用案例 3.1 高端制造智能无人工厂 智能无人工厂也称智慧工厂，是在数字化工厂的基础上，利用工业互联网等技术提升工厂制造效率和运营水平，提高生产过程的可控率，从而实现制造企业的降本提质增效以及转型升级。按照德国的Scheer教授提出的智能工厂构架理论，智能工厂可以分为基础设施层、智能装备层、智能产线层、智能车间层和工厂管控层五个层级[148]。随着机器人、人工智能及增材制造等新兴技术信息迅速升级，为制造业推进智能工厂建设提供了良好的技术支撑。德国梅赛德斯奔驰的56号工厂是按照工业4.0标准打造的未来工厂，采用了无人运输系统、数字孪生、自动分拣等技术。工厂大量的使用了AGV装配线，可以实现无轨装配工位，无轨自动运输，并与自动分拣、DTS(Data transmission service)系统相匹配使用，可实现多种车型混线生产。在保证大规模生产的同时，也保障产品质量并降低生产成本。三一集团的“18号厂房”工程机械总装车间，采用5G+AGV小车完成智能分拣和精准配送，在智能化调度系统的控制下，上百台机器人能够高效协同工作(图10);采用5G高清传感器，组装作业时可以自动修复偏差，减少因磕碰导致的质量缺陷;大件激光切割软件及系统，在多品种钢板物料特征识别技术、基于激光测量的物料精确定位技术、激光跟踪与实时寻边技术、机器人位姿鲁棒控制与在线补偿技术以及基于激光寻边的切割轨迹光顺与优化技术等五个方面取得创新突破；通过制造运营系统、物流管理系统、远程控制系统、智能搬运机器人等系统优化运用与深度融合，在数字化“加持”下，实现了从一块钢板进来到一台整车出去的全流程自动化生产。3.2 高端制药机器人智能检测生产线 高端智能医药质量检测主要是指通过新兴的机器人技术来代替人工进行质量检测的过程。相比于传统人工检测而言，它具有稳定性好、持续工作时间长、精度和效率高等优点。日本Eisai公司、德国BrevettiCEA集团、意大利Seidenader等企业纷纷开展机器人医药检测技术研究。我国制药装备需求量大，医药制造装备的性能是保证药品质量的基础。为解决传统药品质量检测环节依赖人工、漏检、误检频发等问题，需研制高端制药机器人视觉检测控制关键技术与装备，实现制药过程无菌化、无人化生产，保障药品质量安全。高端无菌化制药机器人面临的主要挑战包括:制药技术装备工艺复杂，无菌化控制难;制药过程污染颗粒微小、种类多、检测难;高端制药过程中多工序、多任务、多机器的协同控制难。湖南大学团队针对高端制药装备感知与控制的重大需求，攻克高端制药灌装封口机器人协作控制、高端制药检测机器人视觉识别、高端制药分拣机器人视觉控制等关键技术，研制出无菌化配药双臂机器人、药品灌装−转运−封口机器人、药品质量视觉检测机器人、药品分拣机器人等自动化生产线装备，如图11所示。基于机器视觉的医药检测是在药物出厂前，通过对药物的运动图像或视频进行分析和处理，从而实现对药物的一系列质量检测，例如，液体环境中的外来异物检测、冻干粉中的杂质检测、外包装和标签检测等。针对安瓿瓶型，Ge等设计了一种自动检测安瓿注射杂质的系统，采用空间在线极限学习机算法，验证了该算法在区分气泡和异物上的可行性[149]。针对药液中的不溶异物检测方法，张辉等提出了一种可行的高速度、高精度的机器视觉检测方法，能在线检测30多种微弱异物，检测精度达到50μm，异物检出率99。7%以上，满足医药微弱异物种类繁多、特征多样、高速高精度的在线检测要求[150]。04  智能制造机器人发展趋势及挑战 当前，云计算、物联网和大数据等新兴信息通信技术快速发展，为高端制造业的发展提供了新的思路和契机。
1）“云−边−端”融合的智能制造。“云−边−端”融合的作业模式通过深度感知制造过程中生产实体的特性和状态，动态/在线地在工业云(云)和生产单元(边、端)间进行数据交换和计算分发，进而高效、无缝、透明地协同使用云端和边缘端的计算、存储及数据等资源，以实现网络化、智能化、柔性化生产。在智能制造机器人协同作业场景中，在“云−边−端”融合的架构集成了通信与计算技术，克服了个体设备信息存储和计算资源等的固有局限，能够较好地支撑机器人系统运行(如图12)。有效地建立云边融合的网络架构，加强云边端协同、智能共享的顶层设计，将是未来智能制造机器人研究的重点。2）新一代智能制造系统由通信、计算、感知、控制与安全体系等组成，通过新一代人工智能技术，智能制造系统将具备“感知−决策−执行”的闭环特征，而在动态环境中构建机器人的感知−决策−控制协同作业机制具有重要意义。在工业互联网平台设备互联互通的基础上，利用分布式传感技术实现生产场景要素的全面感知，以适应复杂制造场景下感知对象异构、干扰因素多等挑战;灵活运用集中式、分布式与群体智能，建立安全高效、强鲁棒、易扩展的任务调度和动态规划体系，设计机器人自主决策机制，保障大规模制造任务和工序井然有序地运行。3）人机融合智能。人机融合技术不断深化，标准化结构、柔性人机交互技术不断发展，促进智能制造领域工业机器人的便捷性和可靠程度越来越高。人机融合在智能机器人生产设计中，越来越受到重视。人机协同既具备人类认知能力，又具备机器人的高效率，通过人类与机器人的智能协作，能够完成复杂的加工、装配等任务，同时提升了安全性与便捷性，是人机融合的一个重要发展方向。同时，随着机器人技术日益成熟、智能仓储机器人等产品的快速发展，人机协作技术在电子、建筑、家居等一般行业的应用也在迅速演进。4）集群机器人技术。智能制造机器人涉及先进信息技术、机器人技术、自动化技术以及机械工程与材料工程交叉融合等前沿制造技术。面对大规模的智能制造任务，机器人往往处于分散、低连通环境，为适应需求多变、异构感知对象、突发问题等情况，需根据特定感知任务，准确描述跨域多实体、多机器的动态协作关系，进而探索自适应的群组动态协作感知与融合策略，实现智能制造机器人的跨域融合感知。还需在动态和多维信息收集的基础上，对复杂问题进行自主识别、判断、推理，并做出实时性的决策，实现集群机器人的精准感知与实时规划，集群机器人有望在新一代智能制造系统发挥重要作用，如图13所示。05 结论 随着新一轮工业革命的到来以及人工智能、云计算、物联网技术的快速发展，世界主要工业国家都开始加快机器人技术战略部署。本文首先对机器人感知与控制的关键共性技术进行了综述和介绍，如三维环境感知、3D点云配准技术、位姿估计技术、运动规划技术、多机协同规划、精准控制技术、柔顺控制技术、视觉伺服技术等。然后介绍了机器人应用的关键技术，如机器人三维测量、机器人加工与装配等，最后总结了机器人系统在智能制造领域应用典型案例，并探讨了智能制造机器人的发展趋势和所面临的挑战。声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。关注

编辑：黄继彦