协同异构多机器人系统：综述

研究背景

我们所生活的世界的动态和不可预测的本质使得很难设计出一个能够有效地适应所有环境的自主机器人。因此，各种形状、大小和能力的机器人，如无人机、无人地面车辆、类人机器人等机器人。随着物联网（物联网）的出现，进行合作将大大增加自动化任务的范围。将这些设备集成在以下领域，如医疗保健、交通系统、应急响应系统、家务家务和老年人护理等，将使智能城市变得更加聪明

本文贡献

• 简要概述了更通用的多智能体系统（MAS)领域
• 讨论了关于使用异构多机器人系统实现复杂任务自动化的文献
• 展示了多机器人系统（MRS）的一个工作流的主要组件：任务分解、联盟形成、任务分配、感知和MAS规划和控制，调查每个领域中现有的工作，并确定一些剩余的挑战和未来可能的研究方向。

相关工作

• 与我们工作最近的两项调查：
  • 其中一个涵盖了机器人的协调，包括任务分配、分解和资源分配。然而，它关注基于市场的方法，并不包括关于联盟形成和决策模式的工作。
  • 最近的一项调查讨论了现有的MRS架构、通信方案、群体机器人、任务分配和学习，如觅食、编队控制、协同对象操作和位移、路径规划和足球等应用。
• 其他调查的范围比我们的工作范围更窄，重点集中在一个特定的研究领域，如合作的MAS规划和控制模型和算法，以及MAS中的分布式共识。一些调查集中在机器人及其分配的任务上；

展开思路

• 定义了MAS中的关键术语，并介绍MRS的工作流
• 实施的调查
• 介绍MRS工作流每个部分的现有工作
• 剩余挑战
• 总结展望

多智能体系统（MAS）

智能体（Intelligent Agents）

• 智能体是一种物理（机器人）或虚拟（软件程序）实体，它可以在感知该环境的同时自动对环境执行操作，以实现目标。
• 认知体系结构是“智能体的基础基础设施”：智能体的大脑。它包括感知、推理、学习、决策、解决问题、互动和沟通。
• 评估标准是基于特定领域的性能度量、通用性、通用性、多功能性、合理性、最优性、效率、可伸缩性、自主性和可改进性的。

多智能体系统( Multi-agent Systems)

• MAS由多个自主的、相互作用的智能体组成，它们具有共同的或相互冲突的目标和感觉信息。它们的特征是分散的和不完整的信息、异步计算和分散的控制。然而，集中式系统或混合式系统也被认为是MAS。MRS将智能体限制在物理机器人上。
• 评估标准是特定的或者不变的。特定于领域的标准量化性能。如对于搜救，性能措施包括获救人员或灭火人数。不变标准包括解决方案最优性、算法时间和空间复杂度、负载平衡、公平性、资源利用率和重新分配速度、通信开销、对噪声和智能体故障的鲁棒性，以及可伸缩性。

异构MRS体系结构的三层层次结构。

• 云连接MRS：关于所有机器人和复杂任务的信息都可以在云中获得。机器人可以通过云进行通信，并利用云中可用的任何计算资源和信息。
• 本地连接MRS：从各种机器人的传感器中收集信息，并在它们之间进行交换。包含具有分配子任务的机器人子集。
• 智能体：它可以进入它的感官输入和控制它的执行器。它可以与联盟内部的其他机器人进行通信，并可以连接到云上。

任务分类法（ Task Taxonomy）

• 任务的复杂度决定了任务的难度，这会影响完成任务所需的机器人的数量和类型，并且可能由多个更简单的子任务组成。
• 单机器人的任务可以由一个机器人完成。多机器人任务可以根据成功完成所需的合作水平来进一步区分，从松散到紧密协调。松散协调的任务可以分解为子任务，可以通过机器人之间最小的交互独立执行。紧密耦合的任务是不可分解的，需要在机器人之间具有重要交互的协调执行。

多机器人系统工作流程（ Multi-robot System Workflow）

• (1)任务分解，将复杂任务划分为简单的子任务；
• (2)联盟组成，即智能体团队；
• (3)任务分配，将子任务分配给智能体团队进行执行；
  (4)任务执行/规划和控制，即通过对环境执行一系列操作完成任务。

人类设计人员根据可用机器人的能力将复杂的任务分解为更简单的子任务，并从一组智能体组成联盟。然后由机器人团队自主执行任务分配、机器人规划和控制。

应用

结合机器人智能体、软件智能体和其他计算和传感设备的MAS在智能城市有许多应用，包括医疗保健、国内服务和智能交通系统。监视、导航和目标跟踪等军事应用程序也开发了MAS框架来有效地自动化这些复杂的任务。

现有MRS

• 异构的MRS系统：根据它们执行的合作任务的复杂性以及从大多数自动化程度分类：
  • 第一级（最不自动化），只有任务执行是自动化，
  • 第二级自动化任务分配或联盟的形成，但不是两者都自动化
  • 第三级自动化联盟的形成和任务分配，但不自动化任务分解
  • 第四级可使整个系统实现自动化。

据我们所知，没有发现任何参考资料能使整个过程自动化（第四级自动化）

任务分解

• 复杂任务自动化的MAS工作流中的第一步：它将复杂任务分为一组更简单或更原始的子任务，彼此独立或顺序依赖。任务分解问题的规划者可以是一般的或特定于某一领域的（如足球机器人）。
• 任务分解的过程可以分为三类：分解然后分配、分配然后分解以及同时分解和分配。
• 分解然后分配算法，首先以集中的方式将一个复杂的任务分解为一个子任务列表，然后将各种子任务分配给可用的智能体。任务树分解基于现场中的逻辑关系来划分任务。
• 分配然后分解的算法，首先将一个任务列表分配给智能体，然后每个智能体将这个任务划分为更原始的子任务。这种方法允许智能体根据智能体的特定技能集来分解任务，从而允许他们有效地执行任务。
• 同时进行的任务分解和分配算法，提出了一种基于任务树和拍卖的解决方案。这种方法通过提供反馈来改进基于智能体能力的任务分解，从而产生更多特定于系统的分解。但是，由于子任务的微调，它可能会更耗时。

联盟的组建和任务分配

联盟

• 在这项工作中，我们专注于合作联盟的形成。联盟的形成可以离线执行，形成静态联盟，或者在线形成可以适应环境的动态团队。
  • 许多搜索算法包括蚁群优化、粒子群优化和进化算法。搜索算法是一种简单的方法，不需要重要的智能体建模。
  • 贝叶斯强化学习(RL)允许智能体通过他们的交互来学习其他智能体的能力，并将联盟问题转化为一个顺序的决策问题。
  • 利用加权投票游戏和Q-学习建模了区域覆盖问题的动态机器人联盟形成，并扩展到基于编队的导航问题。
  • 使用沙普利值和边际贡献来修剪联盟结构，智能体从一个联盟到另一个联盟的过渡过程表示。
• 这些方法的好处包括提高对环境随机性的鲁棒性和由系统设计人员对智能体建模不同的弹性。不幸的是，必须容忍一个学习阶段，以允许算法通过试验和不同来学习智能体模型。

任务分配

• 任务分配将任务分配给一个智能体或一组智能体，它的目的是在智能体和任务之间找到一个最优的或接近最优的映射。
• MRS特定的任务分配算法：例如群智能、无人机军事、图论粒子群优化、K-means聚类算法、基于效用的任务分配、语义映射等。许多方法主要集中于尽量减少机器人完成任务的旅行距离，然而，一些工作旨在确保机器人和之间的工作负载平衡。
• 拍卖算法是在任务分配问题中广泛采用的另一种算法，能够处理任务优先级和异构任务或机器人、多机器人旅行、以及巡逻任务。
  

同时组建联盟和完成任务分配

• 文献中还提出了同时执行联合形成和任务分配，以使用MRS解决更广泛的复杂任务。结合任务优先级排序和资源约束，改进了无人机的联盟形成。结合基于机器人、任务和环境信息的动态蚂蚁联盟形成和模因局部搜索任务分配算法，在无人机搜索任务中的多机器人任务分配。
• 虽然这些方法收敛于更好的联合和任务分配，但它们在计算上更昂贵，需要更多的迭代来收敛到一个分配。然而，他们的任务随着经验的提高而改进，并导致更有效的MAS和MRS任务执行。

MAS的规划和控制

MAS规划和控制，也称为决策，是MAS的主要模块。它决定了智能体为完成分配的任务来执行的操作序列或策略。决策算法通常基于策略最优性及其时间和空间复杂度进行评估。已经提出了多个框架来建模和解决决策问题，包括强化学习(RL)、博弈论、群智能和图论模型。

根据上表我们可以看到，一个决策模型，当通信需求较低，它具有最高的可扩展性能力，但不允许在智能体间存在显著的差异。此外，异构性的增加会导致对通信的需求的增加，从而降低了系统的良好扩展能力。

感知

• 感知是成功的MRS部署的一个关键组成部分，它使机器人可以从感觉信息中建模他们的环境，并了解他们的行为如何影响环境，以及他们是否成功地完成任务；如果没有这种功能，在现实环境中几乎不可能执行任务。传感器测量环境中的变量，允许机器人观察他们的行为是如何影响环境的，从而导致更有效的任务执行。
• SLAM允许机器人同时生成一个环境地图，并在该地图中定位自己，这是任何涉及导航的任务的一个重要方面。许多计算复杂度的算法，使用广泛的传感器，包括相机、声学传感器、结构化光和电磁信号。SLAM还采用了传感器融合，受益于各种信号，如激光测距探测器、WiFi、蓝牙、LTE等磁信号。
• 场景理解允许机器人从视觉线索中提取一般原则。它包括图像分割、对象识别、事件识别、人类活动和行为识别、语义注释等计算机视觉问题。场景理解已被应用于行人、交通、城市、视频监控和水下场景。多智能体或分布式计算机视觉算法已经被开发出来，以提高在MAS应用程序中的场景理解。
• 对象运动跟踪是场景理解的另一个重要方面，它通过跟踪感兴趣的对象来帮助机器人实现目标。开发的系统是基于无线链路[228]和基于卡尔曼滤波器的SLAM，基于激光的占用网格[98]等等。利用粒子滤波器、RL和最小二乘最小化，开发了多机器人来跟踪行人和其他对象。更多的信息可以在最近的MRSMRS目标检测和跟踪的调查中找到。
• 自动语音识别在人机交互中很重要。方法包括隐藏MRS模型、深度神经网络和支持向量机。虽然深度神经网络到目前为止性能最好，但它们计算昂贵，需要许多数据点来实现良好的性能，这使得与机器人系统集成于实时应用成为一个挑战。
• 许多系统已经将上述两个或两个以上的功能结合成机器人系统。总而言之，复杂的多模态感知模块在过去几十年里已经有了显著的改进，这将有助于智能体在现实环境中做出更好的决策。

挑战和见解

大数据

• 问题：
  • 云端数据的可访问性在一些机器人应用中可能是一个问题，而部署在机器人平台上的感知算法没有计算资源来利用这些进步和改进机器人的模型在环境中。
  • 决策模型的计算对机器人应用程序很昂贵，即使它们是离线训练的；
• 方向：深度学习压缩、深度学习软件和硬件加速器，IBM的TrueNorth芯片等神经突触处理器。

物联网

• 问题：仍然有大量的信息可以从环境中提取，特别是在这个物联网的时代。
• 方向：传感器融合和来自异构源的分布式感知是两个领域，可以帮助提高机器人应用的感知。分布式深度神经网络是传感器融合和影响机器人决策的一种可能的解决方案。

任务的复杂性

• 问题：随着任务变得更加复杂
• 方向：任务分解步骤应该是自动化，以允许随着条件的变化而重新规划。此外，自动化的任务分解可以在自然语言处理中利用现有的本体和领域特定的字典将任务分解为子任务。

自主机器学习

• 问题：许多机器学习算法仍然依赖于人工干预来手动调整算法参数。
• 方向：自主机器学习(AutoML)是一个机器学习的子领域开发不需要人类专家来选择学习算法、手动调整参数或选择用来训练的数据的学习算法。将AutoML合并到MRS中将导致能够更好地处理动态环境的通用智能体。

可扩展性和异构性的平衡

• 问题：在智能城市有效运作，智能体们需要可扩展、适应性和可推广，以应对动态环境和任务的复杂性。
• 方向：开发有效的规划算法，在可扩展性和异质性之间达到任务适当的平衡，将使MRS在智能城市中更加普遍存在。局部交互密集、全局交互稀疏的层次方法可以用来提高可扩展性，同时允许智能体的异质性。

联盟的组建和任务分配

• 方向：联盟的形成和任务分配可以导致更最优的映射，应该进一步研究，因为只有少数研究考虑了这种方法，但得到了有希望的结果。此外，联盟和任务分配应该是动态的和时间变量，以更好地处理任务的复杂性和环境的变异性。

人循环

方向：人循环指的是需要机器人或智能体与人类交互的系统架构。这些系统的好处包括扩大MRS在不实现完全自主权的情况下可以执行的任务范围，补充MRS与人类的技能，以有效地执行某些任务，赋予人类加强系统控制，提高系统适应性和抗环境随机性。在给定的场景中，确定循环中的人是正向还是负向，是选择能够导致成功完成任务的正确系统架构的关键。

转移学习

• 问题：MRS将会遇到许多类似的情况。
• 方向：利用以往的经验来改进当前的决策，将显著提高智能体的性能、适应性和鲁棒性。转移学习是一种学习范式，它允许智能体通过将知识从以前的经验转移到当前的强化学习问题来跳头开始学习，而不是在每个新场景中从头开始学习。

统一的框架

• 问题：对于MRS的工作流，大部分工作主要是将这些研究领域视为更大的领域独立处理这些模块的。采取更全面的方法。不同模块之间的反馈连接应被纳入工作流中，以进一步提高其有效性。所以模块之间的反馈会使他们进行相互作用。

其他挑战

• 问题：通信约束和连通性的不确定性进一步使合作智能体的事情变得更加复杂，特别是对于紧密协调的问题。虽然将MRS连接到云上也允许我们减少这些移动设备上的计算负载，并提高它们的性能，但这种连接的存在性和稳定性是不确定的，有时可能会崩溃提高系统，而不是提高其性能。某些任务的时间敏感性和机器人有限的硬件资源需要开发有效的决策、感知、联盟形成和任务分解和分配算法。

任务分解和任务分配的区别

• 任务分解，即将复杂的任务分成更简单的子任务；
• 任务分配，将子任务分配给智能体团队执行；
• 举例：足球任务分解，其中根据球和球员的相对位置在机器人之间划分覆盖场地。球被视为一个引力源，在它周围产生一个引力场，并影响子任务的分配。比如球在不同的位置会有不同的处理方式，这一步是任务分解，在当前的场景下每个机器人该怎么反应，这对应着任务分配。
• 分解然后分配算法：首先以集中的方式将复杂的任务分解成子任务列表，然后将各种子任务分配给可用的智能体。在环境中跟踪人是根据地理上的接近度在机器人之间动态分配的。
• 分配-然后-分解算法，例如M+算法[28]，首先将一个任务列表分配给智能体，然后每个智能体将这个任务分成更原始的子任务。这种方法允许智能体基于其特定的技能集分解任务，从而允许他们高效地执行任务。