自主系统的未来发展趋势

王小凤 翻译

摘要 自主系统（AS）被认为是从反射式、指令式和自适应式智能发展而来的最先进的智能系统。在首届IEEEICAS’21上，组织了一个关于“自主系统的未来发展”的全体小组。本文报告了关于AS的现状和范式的小组讨论、AS的理论基础和数学方法的基础研究，以及AS未来发展面临的挑战。作为一个新兴且需求日益增长的领域，AS为当代智能产业提供了前所未有的途径，包括深度机器学习、高度智能机器人、认知计算机、通用人工智能技术，以及智能科学、系统科学、脑科学、认知科学、机器人技术、计算智能和智能数学等跨学科进展所带来的工业应用。

关键词 自主系统；智能系统；通用人工智能系统；认知系统；理论基础；机器学习；挑战；约束；应用

1.导言

认识到自主系统（AS）是智能科学、系统科学、脑科学、认知科学、机器人学、计算智能和智能数学的跨学科发展所引发的高级智能系统和通用人工智能技术[1-5]。作为一个新兴领域，AS 解决了通用 AI 和下一代智能系统所面临的挑战，其中刺激的状态空间和行为生成在设计时是动态不确定的，或者在运行时处于未决状态。这些对当前计算和人工智能理论和平台的基本限制表明，不仅需要新的技术发展，还需要对理论基础、先进理论、智能计算平台/语言进行深入的基础研究，并为智能数学的严格建模奠定基础，以满足对认知计算和通用人工智能前所未有的需求[6-8]。

在IEEE第一届自主系统国际会议（ICAS’21）[1]上，关于自主系统未来发展的全体会议的主要目的是为与会者提供一种互动方式，尤其是在虚拟会议环境中，学习知名专家对AS发展本质和趋势的看法。它还允许参与者获得专业愿景、见解，以及对AS的战略问题或根本挑战的反馈。

本文对全体小组进行了总结。杰出的专家小组成员代表着一批在AS基础研究和工业创新方面世界杰出的学者和专家。演讲、讨论和与观众的互动展示了专家组成员对智能科学、计算智能、通用人工智能、计算机科学、系统科学、智能数学、计算机科学和计算机科学等新兴跨学科领域AS未来发展趋势的愿景和观点，以及各种现代工业的工程需求。

2.自主系统：基础研究和未来发展

AS被视为一个运行时确定性智能系统，不仅取决于当前的刺激或需求，还取决于内部目标、状态以及历史学习和当前理性推理形成的知识。AS的最终目标是实现一个受大脑启发的系统，该系统可以在混合智能系统和一般人工智能实现中作为人类对应物进行思考和行动。AS使运行时的不确定性行为更接近人类认知智能水平[2,8]。众所周知的和潜在的AS范例可能包括大脑启发的人工智能系统，如深度机器学习系统、机器意识和意识实现、认知机器人、手术机器人、自动驾驶车辆、自动无人机、实时机器推理机、脑机接口，以及基于知识的智能系统。

在智能科学和计算智能中，一个分层的智能模型（HIM）被引入以揭示智力水平及其复杂性和困难性，如图1[2]所示。根据HIM，人类和AS智能的水平是从反射性、指令性、自适应性，到自主性和认知性智能的聚合。HIM指出，人类和机器智能都是从下到上层层形成的。如果没有基础层，上层可能无法实施。HIM模型在逻辑和神经学上与大脑分层参考模型（LRMB）的发现一致[9,10]，其中大脑包含以下自然智能层：1）感觉、2）行动、3）记忆、4）感知、5）认知、6）推理和7）自主智能[32-36]。LRIM模型为脑启发系统（BIS）的建模提供了脑/认知科学基础。基于这一观点，任何AS都相当于BIS，反之亦然，其本质特征是运行时衍生的智能行为，超出了在设计时间预先训练或预定的智能行为。

图1 AS 的分层智能模型（HIM）

为了探索AS设计和实施的本质和挑战，以及激发小组讨论的深入思考，根据AS新兴领域的基础研究结果[1,9,10]，向杰出的小组成员和观众提出了AS的以下一系列关键基本挑战（KFC）：

AS面临的关键基本挑战（KFC）

1） 启用AS的必要条件和充分条件是什么？

2） 为什么在过去的60年里，几乎不存在任何功能齐全的产品？

3） KFC2的这一点是否表明存在理论或技术挑战，或两者兼而有之？

4） 我们实现AS的计算平台成熟程度如何？

5） 存储程序控制（SPC）计算机或冯·诺依曼机器是否足以设计AS？如果没有，那么需要什么样的计算机来实现这一点？

6） 我们的编程语言是否有足够的表达能力来实现AS？如果确定性条件if-then-else结构在运行时耗尽，会发生什么？

7） 我们的数学方法准备好正式表达AS了吗？AS的不确定性或不可预测的行为将如何在经典编程语言之外的算法中正式描述？

8） 典型的基于神经网络的深度学习系统是AS吗？他们只是训练后的一个反射系统吗？

9） 我们的推理能力是否足以表达AS的实时和不确定性行为？

10） 当AS的状态空间实际上是无限的，例如自动驾驶车辆和任务关键型机器人的状态空间时，如何信任和验证AS？

我们基础研究中认可的KFC为AS开发提供了一套理论基础和基本设计标准。KFC可以作为一套必要和充分的条件，用于评估任何潜在的理论、方法、解决方案或实施是否适合目前或将来。（本节由Yingxu Wang教授提供。）

3.人工智能挑战：自主系统研究中的知识量化、进化和教育

20世纪前夕，德国著名数学家希尔伯特发表了他的23篇《希尔伯特数学问题》。这些问题在1900年都没有得到解决，其中许多问题被证明对20世纪的数学非常有影响。这种人工智能挑战如今确实存在，如果定义和解决得当，它们可以极大地促进人工智能和自主系统的研究[31]。随后，我定义了三个这样的问题：知识量化、知识进化/适应和知识教育。实际上，它们是否真的是三个独立的问题，这是可以辩论的。

知识量化。人工智能/自主系统是否能够真正以这种方式运行取决于其对环境和自身的了解（自我意识）。不幸的是，知识是一个难以捉摸、却无处不在的术语，因为它构成了我们社会的基础。自古以来，它就出现在哲学和教育文本中。然而，下面这句被认为是苏格拉底的谚语适用于它：“我只知道我不知道”。即使是它的正式定义也并不完全一致。因此，适合、正确、量化和实用的知识定义是我们今天面临的主要挑战之一。这与知识量化密切相关。

知识进化/适应。另一个同样紧迫的问题是知识获取和进化/适应。近十年来，在使用机器学习获取知识方面取得了许多进展，通常是以深度神经网络（DNN）的形式。

知识适应也以一种相当分散的方式进行，例如通过转移/终身/持续学习。尽管取得了这些进展，但重大问题仍未解决。我们无法以令人满意的方式量化人工智能系统（尤其是DNN）知识。因此，当我们试图学习更多/新数据或新任务时，我们无法量化其演变。当然，我们无法优化知识进化。这是一个需要解决的重大问题，它将真正促进系统的适应性和自主性。

知识教育。它定义了将知识从人工智能系统和/或人类转移到其他人工智能系统的过程。从这个意义上讲，它的范围比当前的知识转移理论要广得多。事实上，我认为人类教育中盛行的“师生”模式，以及其他人类教育理论和范式，可以适用于人工智能教育环境。这些进步可以极大地促进人工智能/自主系统中的知识获取和知识进化。相反，新的知识教育理论可以被改编，可以量化/改善人类教育。（本节由Ioannis Pitas教授提供。）

4.自主系统：缺少什么以及什么是前进的方向？

尽管在过去十年中取得了巨大的进步和令人印象深刻的成果，但自主系统中的学习仍然依赖于应用程序，并受到限制[11-12]。人们通常认为，只有当人类大脑启发的信息处理系统可用于指导自主的动态系统时，才能在广义人工智能方面取得真正的进展。尽管此类系统尚未开发，但可用于指导该领域的发展。从长远来看，一个实用、人性化的信息处理系统应该：

•利用测量模块，最大限度地提高环境信息增益。

•使用基于记忆的注意力机制来处理信息。

•部署推理/决策引擎，在不确定环境中识别智能选择。

•依靠反馈控制，以高效、经济的方式与环境互动。

在短期内，这方面的工作应该从狭隘的重点学习和自主任务开始。未来两到五年可能开展的活动清单可能包括但不限于以下方面的研究：

•机器人和车辆等工程自主系统的认知动力系统。学习应该专注于无监督学习,当学习的特点是以下这种时，产生的顺序依赖关系的观测信息来源(上下文依赖性),观察媒介(感知),内部系统状态(结构),或采取行动(反馈回路),连续的多层次分类,以及自适应状态估计。

•统一的处理框架，包括认知动态系统的最优（次优）、线性（非线性）推理。初步结果表明，广义贝叶斯学习框架和量化的风险预测是一个很好的起点。

•促进幸福和生活质量的解决方案。例如，基于脑电的脑-机交互（BCI）领域的开放性研究问题（挑战）可以用来测试和证明这种基于大脑的学习框架的实用性。（本节由Konstantinos N. Plataniotis教授提供。)

5.自主系统自我意识的增量学习

多传感器信号数据融合和感知，包括信号处理，是重要的认知功能，可以包括在人工系统中，以提高其自主性水平。然而，它们所依赖的技术是随着时间的推移逐渐发展起来的，其基本假设是，它们本应主要用于为驱动这些系统动作的决策任务提供支持。迄今为止，像自我意识这样的认知功能一直被认为不是自治或半自主系统的具体知识的主要部分。做出这种选择的原因之一是，缺乏对一些原理的理解，这些原理允许一个智能体，甚至是一个人，通过整合信号处理、机器学习和数据融合方面，将连续的感官体验组织成一个连贯的紧急知识框架。然而，过去十年在许多领域的发展带来了提供综合解决方案的可能性，这些解决方案能够勾勒出如何通过捕获自主智能体（例如车辆和智能无线电）的经验来获得紧急自我意识。在本主题演讲中，我们将介绍一种贝叶斯方法，包括异常检测和生成性预测模型的增量学习，作为智能体中紧急自我意识的基石。还将从不同方面讨论加入紧急自我意识的智能体的优势，例如智能体行为的可解释性和模仿学习能力。（本节由Carlo S. Regazzoni教授提供。）

6.协作式自主是无人驾驶汽车的解决方案

完全自主的竞赛正在进行，但无人驾驶汽车需要沟通和合作，以提供整体安全性和可靠性，而大规模采用需要智能基础设施。这需要弹性协调、自愈网络、学习，以及与人和机器的快速协作决策。随着环境的变化和复杂性、节奏以及自主操作和人工操作之间的相互作用，问题的难度越来越大，而设计则因异质性、规模和通信速率而变得复杂。在原始环境或受控环境中，临时解决方案是可能的，但广泛部署的无人驾驶汽车必须依靠协作。（本节由Brian M.Sadler博士提供。）

7.在自主系统中进行有限监督的学习

最近在自主系统中的传感和导航算法方面取得的成功主要围绕着使用大量复杂标记的数据来训练机器学习模型。但是，在现实世界中，获取如此大的数据集需要大量的手动注释，这可能非常耗时，在有限的资源范围内不可能实现，甚至容易出错。然而，许多真实数据可以以很低甚至不需要注释的成本获得。这些数据可以是未标记的，或者包含标记/元数据信息，称为弱注释。因此，我们需要开发一种方法，可以从这些涉及有限人工监督的数据中学习识别模型。在本次讨论[13-18]中，我们探讨了在有限监督下学习的两个方面——第一，减少学习识别模型所需的手动标记数据的数量，第二，将监督级别从强到弱降低，这可以从网络上挖掘，很容易从甲骨文中查询，或者作为基于规则的标签从领域知识中获取。

在有限监督下学习的第一个维度中，我们将讨论如何使用通常存在于自然数据中的上下文信息来减少所需注释的数量。在第二个维度——降低监督水平，我们将讨论如何使用弱标签而不是密集的强标签来学习密集的预测任务。我们将讨论在视频中使用弱标签进行动作检测的学习框架，以及图像语义分割模型的领域自适应。讨论的所有这些任务本质上都是静态的。继续从弱标签学习的方向，我们探索顺序决策问题，其中下一个输入取决于当前输出，例如在导航任务中。我们通过将复杂任务分解为子目标，通过一小部分专家演示来研究学习机器人技术任务的问题。（本节由Amit Roy Chowdhury提供。)

8.以交互为中心的人类-自主团队设计：战略视角

世界正面临着前所未有的灾难性风险，这些风险来自致命的流行病和流行病，以及指数技术的交叉。人工智能和机器人技术作为第四次工业革命的两项代表性技术继续快速发展，以多种方式在各个领域得到越来越多的利用。这一趋势提出了一个重要的问题，即与安全和关键任务型智能自适应系统(IASs)[19]中增加自主性相关的好处、复杂性、责任和风险。IAS是一种人机共生技术，通过基于联合能力、优势和局限性的优化人机交互实现集体智能，以实现共同目标[19,20]。

虽然人工智能和机器人技术可以为各种能力差距和挑战提供解决方案，但世界的数字化并不是为了完全取代人类的参与。在IAS中使用人工智能和自主性涉及复杂的法律、伦理、道德、社会和文化问题，这些问题可能会阻碍其人类合作伙伴将人工智能和自主性发展、评估和应用为一种合作的人类自主共生伙伴关系[21,22]。

然而，目前在这方面没有政府政策，没有协调的方法，没有有组织的社区响应，也没有寻求答案的国际研究项目，以应对理解和减轻与操作自主系统相关的风险[23]。

此外，缺乏指导来支持这些国际会计准则的设计，同时牢记潜在的好处、局限性和潜在的危害。在这些人工智能自主系统被更广泛地整合到我们的系统、活动、运营和社会中之前，确保这些人工智能自主系统能够安全有效地使用，这一点至关重要。

为了支持这些先进IAS技术的更广泛应用，以交互为中心的设计（ICD）方法已得到验证，并广泛应用于任务关键型系统中，由于操作员状态、任务、系统和环境状态的动态和不断变化的性质，操作员的任务往往在认知上具有挑战性。ICD框架、其分析技术、设计方法、实施策略以及测试和评估过程帮助科学界和国防界了解了最佳方式，通过这种方式，人类操作员可以与自主系统和AI合作，在复杂环境中执行任务。ICD方法已得到北约联合能力小组无人机系统（UAS）的认可，并成为解决人机交互问题的三项标准化建议的指导原则和战略。ICD框架为解决各种UAS作战问题提供了指导，包括智能指导、信任和武器交战决策[23-25]。

本次小组讨论讨论了人类与AI/自主系统的互动从“在回路之上”到“在回路之中”的更广泛问题，以及基于ICD的方法如何应用于从战略角度提供有效的人类-自主团队合作。（本节由Ming Hou博士提供。）

9.医疗领域AS的可信度和网络安全性

新型冠状病毒病（2019冠状病毒疾病）已经在2019年底突然改变了我们的世界。鉴于大流行的当前形势和对大流行后时代的预测，预计在接下来的几年中，医疗保健中使用自主系统（AS）的情况将显著增加。除了大流行的影响外，在医疗保健方面对AS的依赖增加可归因于农村地区对卫生保健的需求不断增长，以及对家庭护理的需求不断增加。总的来说，对于医疗保健而言，不仅仅是互联医疗设备，而是庞大医疗大数据系统中的一个重要组成部分。AS的可靠性和安全性对于远程医疗和保健至关重要，因为将有大量机密医疗和个人数据易受网络攻击。医疗系统最近已成为网络犯罪最具吸引力的攻击目标。这不仅是因为通过电子健康记录（EHR）可访问的医疗信息的多样性、可变性和价值，还因为AS对医疗保健和其他关键基础设施（CI）的可信度之间的根本区别。例如，对重症监护病房（ICU）呼吸器的网络攻击可以立即危害人类生命。据《华尔街日报》报道，针对医疗服务提供商和医院的网络攻击有所增加，在某些情况下，由于无法处理攻击后的中断，医生拒绝患者，甚至一些医疗中心已经完全停止运营。利用上述医疗领域AS的可信性和网络安全的关键方面，有一项紧迫而未得到满足的任务，即检查对医疗领域AS的潜在网络攻击；分析与安全事件相关的风险责任和成本，开发高级AS保护和缓解解决方案。（本节由Arash Mohammadi博士提供。）

10.异构多机器人系统中的自我意识

本次竞赛的研究领域是通过自感知[26-28]自主系统[29]进行无监督异常检测，这是一个涉及IEEE信号处理协会（通过自主系统倡议）和智能交通系统协会的活跃话题。比赛允许参赛团队创建智能、自主的无监督算法，能够确定与环境相互作用的地面车辆的正常或非正常行为。因此，挑战的重点是在一个公共数据集中自动发现异常[29]，该数据集将提供给所有参与挑战的团队。

竞赛的目标是基于嵌入式实时传感数据和无人机摄像头检测到的异常，检测空中和地面车辆行为中的异常，无人机摄像头观察周围的车辆。公开赛的第一阶段旨在为参赛队提供熟悉拟议挑战所需的数据集。因此，所提供的数据集将分为两组：仅使用正常数据的实验，以及使用正常和非正常混合数据的实验。这些数据集将基于ROS，具有激光雷达、IMU和摄像机同步数据。学生的主要任务包括处理仅包含正常数据的实验中的可用数据，并在呈现混合信息的实验中创建/训练模型，以区分正常数据和非正常数据。提出的挑战属于无监督学习的范畴，其中训练数据只包含正常实例，没有任何异常，测试数据包含混合信息。考虑了多个任务，涉及地面和空中交通工具，每个任务可以识别不同的异常。

这项挑战激励所有参与者为自主系统领域做出创新贡献。他们提出的算法使用正常的已知数据自动推断未标记新数据的异常。自主系统决策的一个初始步骤是根据多传感器数据时间序列中的正常或异常信息来理解数据。异常检测是一个包含多个不同领域的主题，例如信号处理、智能系统、机器学习和来自智能传感器的数据融合。它可以应用于各种平台和场景，例如欺诈检测、社交媒体安全、医学图像异常检测、视频和音频监控，特别是 ICAS 2021 挑战将自主地面和飞行器作为应用案例。（本节由LucioMarcenaro博士等人撰写。）

11.自主手术机器人系统

自主医疗机器人系统专场的首要目标是展示用于手术、治疗、康复和诊断的新型智能和自主系统技术，通过提高医疗干预的效率、准确性、可及性、可访问性和可靠性来减轻医疗保健系统的负担。通过利用机器的实时数据处理和决策能力所提供的优势，医学自主性可以显著增强医疗干预。对包括机器人和可穿戴系统在内的此类技术的需求源于医疗干预的漫长等待时间。预计未来几年老年人的数量将增加，这一需求将进一步加剧。

自主性和智能性在几个行业引起了极大的兴趣。自主性的一个新兴领域是医疗机器人，先进的外科机器人系统或神经康复机器人系统实现自动化，以最大限度地提高准确性和一致性，同时最大限度地降低医疗系统的成本和负荷。然而，由于离人类很近，这些系统的安全性和有效性至关重要。此外，由于该技术中使用的模式的生理来源，如表面肌电图，信号解释将需要一个专门的智能框架。此外，由于医疗任务和人类行为的复杂性，这些技术面临着在非结构化、不确定和随机环境中运行的挑战。在这个特殊的轨道上，我们通过论文收集新的专家意见，我们希望形成一套全面的观点，讨论该领域的现状、挑战和未来愿景。我们相信，通过人工智能、控制和信号处理的融合，自主医疗机器人可以在未来的医疗系统中发挥不可或缺的作用。由于大流行的形势，以及自主系统在保障患者和客户健康方面可以发挥关键作用，对此类系统的需求更加明显。这条特别赛道还旨在吸引学生论文和演讲者，以进一步加强和促进医学自主领域的加速发展。（本节由S.Farokh AtAShzar等人提供。）

12.自主系统：伦理案例

基本上，在操作过程中，能够根据意外事件改变行为以适应新环境的系统称为自主系统（AS）。通常由个人或机构管理、控制和监督。例如，仅举几个例子：（i）无人机（UAV）；（ii）无人水下航行器（UUV）；（iii）智能车辆；（iv）假新闻。因为技术确实具有变革性，在货币和风险降低方面都有潜在的好处。例如，自动驾驶汽车从其传感器网络收集信息，分析这些信息以决定并执行行动，以接近最小的成本和尽可能短的时间实现明确的目标。此类系统的迅速传播给社会带来了新的伦理要求和挑战，这导致了对该领域研究的高需求[37-42]。

我们将研究一些自主系统的开发和运行，并解释其自主行为与一些道德价值观（包括但不限于安全、偏见和隐私）相关的后果。为了促进本小组的讨论，我们假设自动化和自主水平的问题以及与以下方面有关的工业自主系统问题已得到解决：（i）逻辑流程执行，（ii）适应性，（iii）自主等。此外，我们假设AS的人工智能是系统不可分割的一部分，而不是一个整体。这种简化和泛化使我们更容易处理紧迫的道德和社会影响概念。我们将通过对规范伦理理论特征的解释，揭露使用UAV的道德弊端，揭示其对人权和国际人道主义法（IHL）的侵犯。最后，我们将为UAV的开发者和操作员提出一些道德措施，以达成遵守自主性的深思熟虑的道德规范。（本节由Saif alZahir教授提供。）

13.结论

本文介绍了在蒙特利尔召开的IEEE国际自主会议（ICAS 2021）在2021年8月10日到8月13日期间在加拿大召开的虚拟会议上关于自主系统未来发展的全体小组的摘要。十位杰出的专家组成员应邀表达他们对AS的愿景、见解和最新突破，与观众进行了非常有趣的讨论和互动。一个分层智能模型（HIM）被引入来解释AS在理论基础和创新应用方面的性质、本质和限制。研究和讨论了AS面临的10项关键基本挑战（KFC）。小组已经认识到，由于缺乏认知、智能、计算和数学方面的准备，预期未来的工作将解决AS面临的挑战。值得注意的是，本小组总结中包含的个人陈述和意见不一定会被所有小组成员接受。

参考文献