人机信任的介绍与展望

摘要:随着自动化能力的快速提升, 人机关系发生深刻变化, 人的角色逐渐从自动化的主要控制者转变为与其共享控制的合作者,为了实现绩效和安全目标, 人机协同控制需要操作人员适当地校准他们对自动化机器的信任, 自动化信任问题已经成为实现安全有效的人机协同控制所面临的最大挑战之一,本文从人机系统设计的角度为未来的人机信任研究提供一些建议。

关键词：人机交互，人机合作信任

1.引言

得益于人工智能(Artificial intelligence, AI)技术的发展,自动化的能力大幅提升，许多自动化机器都具有一定的自主能力,它们能够执行诸如计划和决策等复杂的高级认知任务,它们有能力成为人类的合作伙伴,甚至取代人类。自动化的应用也达到了前所未有的广度和深度，自动化机器被广泛部署到各种工作环境之中, 自动驾驶汽车、自主机器人以及决策辅助设备等已经被广泛集成到军事、交通运输、过程控制及医疗保健等领域; 自动化机器被更加多样化的最终用户群体所使用, 最具代表性的就是类似于自动驾驶汽车的驾驶员这类快速增长的非专业用户。在其工作环境中, 人与自动化机器协同控制的效能得到不断改善, 人机协作系统变得更加安全有效。尽管如此, 由于作为智能自动化系统基础的AI技术的不足, 自动化的发展及应用面临着一些严峻的问题. 从AI的发展历史来看,第二次AI技术浪潮目前正处于全盛阶段, 它由执行统计对象识别以及在大量数据中寻找模式的统计系统组成, 典型范例如人工神经网络系统, 这些统计系统已经在多个领域取得重大进展。

然而, 以 “统计学习” 为特征的AI系统存在固有缺陷。首先, 虽然这些系统对特定问题具有较强的推理和判断能力, 但它们没有实时的交互式学习能力, 不能处理动态目标和情境。因此, 在不久的将来实现在动态和非结构化环境中运行的完全自主的自动化系统是非常困难的，并且, 出于道德考虑和责任需要, 人们可能不希望赋予自动化系统完全的自主权。其次, 作为统计系统核心的机器学习模型和学习过程不透明且输出结果难以解释, 这使得用户尤其是非专业用户理解自动化变得非常困难。完全自主的自动化系统在未来很长一段时间内都不会出现, 自动化系统的主要作用仍然是作为人机团队成员与人共享控制而不是取代人, 人将继续参与或至少在某种程度上参与自动化系统的决策循环. 目前的人机协同控制主要遵循两种交互范式:决策支持和监督控制，决策支持是指自动化为操作者提供可能的选择, 而监督控制则是指操作者监督自动化运行并在其失效或出现意外事件时及时接管控制权进行适当干预. 在这两种交互范式中, 操作者在很大程度上是基于他们对自动化意图及行为的理解做出正确选择。然而, 由于自动化系统所采取的底层技术的限制, 期望操作者完全理解其自动化伙伴是不切实际的。

人难以理解自动化机器已经成为限制人机协同控制安全实施及效能发挥的一个瓶颈, 如何解决该问题从而将人的认知能力与自动化机器的计算能力紧密结合来实现更加安全有效的人机协同控制成为目前自动化机器开发和部署的难点。既然人对自动化的理解与自动化的实际能力之间总是存在差距, 人缺乏客观评估自动化能力的缺陷只能用信任来弥补，信任是发展有效关系的关键因素, 信任在人类合作中的重要性也得到了广泛认可,自动化信任(Trust in automation), 即人对自动化的信任, 已经被确定为调节人与自动化之间关系的关键因素, 其作用方式与人类之间的信任相似。

操作者的自动化信任水平与自动化的实际能力之间的匹配关系称为自动化信任校准，如图1所示，自动化系统本身的复杂性使得操作者几乎总是处于不当的自动化信任校准状态, 要么高估自动化的能力对其过度信任, 不加判别地依赖自动化导致误用; 要么低估自动化的能力对其缺乏信任,导致停用。误用和停用都可能导致灾难性的后果。例如, 2018年3月, 一辆特斯拉汽车的车主去世,事故调查将该起事故归咎于驾驶员对自动驾驶汽车的过度信任。特斯拉透露, 在自动驾驶仪没有识别出道路前方的混凝土障碍物并加速撞上障碍物之前, 驾驶员有足够的时间进行干预, 以防止撞车, 但他没有采取行动. 在随后对该起事故的补充说明中,特斯拉认为, 与非自动驾驶汽车相比, 自动驾驶汽车的安全性预计将提升10倍, 如果公众对自动驾驶汽车缺乏信任并因此拒绝使用, 自动驾驶汽车可靠性提高所带来的安全性提升将无法实现, 这将造成每年全世界约有90万本可以被挽救的生命因此损失，操作人员不能正确使用自动化对人机协同控制的有效性和安全性造成巨大损害, 因此, 自动化信任问题应该至少与技术问题受到同等程度的重视，在自动化设计和部署过程之中着重考虑自动化信任问题, 设计具有信任意识的人机系统至关重要,它有助于人机系统最大限度地发挥人与自动化机器的潜力, 改善人机协同控制的绩效和安全性。

2.应用背景

在军事领域,人机信任问题尤为突出, 因为军事环境产生了最高形式的风险、脆弱性和不确定性, 与此同时, 高风险和高节奏的情境对军事指挥和控制人员的精神和身体要求非常高, 他们经常处于极度不适和疲劳的状态, 需要高度依赖自动化系统完成团队任务, 错误使用自动化系统的代价可能是致命的。因此, 随着武器装备智能化、无人化趋势日趋明显, 军事领域对自动化信任问题越来越重视。

在医疗领域, 由于辅助决策自动化系统如报警系统和建议系统被大量使用来提高决策效率, 对这些决策支持系统的不当信任很可能会导致医护人员做出错误的决策, 造成严重的医疗事故. 因此, 为了保证相关操作人员对决策支持系统保持合适的信任, 大量研究者在医疗背景下展开了与决策支持系统相关的自动化信任研究。与交通运输相关的自动化信任研究主要集中在航空领域和汽车领域. 在航空领域, 长期以来, 飞行员、空中交通管制员或其他操作人员的自满和对自动化系统的过度依赖所导致的自动化误用一直被认为是造成航空事故的主要原因, 这些事故具有严重的经济和安全后果, 而许多实证研究已经证明, 自满和依赖与过度的自动化信任密切相关, 因此,为了保证航空事业安全健康地发展, 航空领域率先开展了自动化信任相关研究. 在汽车领域, 近年来,随着软硬件平台、人工智能和传感器技术等的进步,自动驾驶技术得到飞速发展. 汽车制造商如特斯拉等已经制造出了商用的半自动和全自动驾驶汽车.然而, 在全世界推广自动驾驶汽车的一个主要挑战是, 消费者对自动驾驶汽车高度不信任. 驾驶员的自动化信任对于接受和正确使用自动驾驶汽车至关重要, 因此, 以自动驾驶汽车为研究对象的自动化信任研究急速增长。

3.人机合作中信任的定义

人机合作是人工智能研究领域的一个重要课题。人机合作在人与人工智能系统间建立起分工合理、配合默契的信任机制，可以在发挥人的智慧的同时，合理运用人工智能系统的高性能，目前已经得到了越来越多的关注。近年来，人机合作的研究普遍采用“以人为中心”的理念。信任在心理学和社会学等行为科学领域被分析和定义。然而每个学科都有自己的观点，由于定义的多样性，很难比较研究结果，但是达成共识的观点是：信任是涉及交易或交换关系的基础。在人际信任中，信任的双方都是人。信任是人际互动的重要条件。在人际互动中，信任帮助人们面对不确定性，适时采取决策和行动。信任他人意味着必须承受易受对方行为伤害的风险，因此，承担易受伤害之风险的意愿亦是人际信任之核心。在人机合作领域中所进行的信任研究，大多基于Mayer等对信任的定义，即“一方承受另一方风险或伤害行为的意愿”。Siau等认为人机合作中的信任是人对人工智能系统的信任或对人工智能算法提供者的信任, 即人是信任方（Trustor），而人工智能系统是信任的对象，即目标信任体（Trustee）。人机合作中的“信任”是信任方发起的意向行为，描述了为什么信任方会对目标信任体有或多或少的信任量。对于“信任”更完整的理解应该进一步考虑信任双方合作的过程，因为信任会随着合作双方的不断互动而逐渐演变。

行为科学领域普遍认为信任的动态演化分为初始型信任和持续型信任两个阶段。初始型信任（Initial Trust，简称IT）发生在合作建立之前。由于信任方（人）缺乏对目标信任体（人工智能系统）的认知，在信息不充分的情形下依赖目标信任体就要求信任方必须冒某种风险，即目标信任体可能会有有意无意地不履行预期责任的风险。这种信任意味着信任方在延伸信任前会基于自身的认知判断对形势做出理性决定。持续型信任（Continuous Trust，简称CT）发生在合作建立以后，意味着信任方对目标信任体有了一点了解，可以在某些情境下预测目标信任体的行为。因此，持续型信任的本质是将合作行为的结果加入到信任的反馈环中合作行为的后果（有利的或不利的）将会通过信任方与目标信任体的下一次互动表现出特征，从而再次影响信任。 

 Hoffman认为人机合作中的信任也是一个变化过程，即人机合作信任是人对人工智能系统表现的心理预期与人工智能系统自身效能的一种混合交互过程这种交互过程是通过人和人工智能系统持续的双向互动逐步建立起来的。因此对人机合作中的信任研究也需要同时考虑初始型信任和持续型信任。

4.人机合作中信任的影响因素

信任的建立和持续取决于许多因素。首先，就人机合作而言，信任主要受人、机（技术）和环境三类因素影响。过往文献对技术因素研究较多, 其基本思路是建立一套与系统自身相关的客观指标来量化信任。有研究表明，技术质量决定了技术本身实现预期结果的能力，理想的结果收益可以增强人对人工智能系统的信任。Sheridan认为人工智能系统通过可靠性、鲁棒性、有效性、可理解性和意图说明五个指标来影响信任。Christofferson和Woods进一步将人工智能系统的可理解性和意图说明归结为人工智能系统的可观察性。Muir和Moray提出人工智能系统通过自身可靠性、相依性、能力、可预见性、信仰和责任来影响人机信任。Toreini提出人工智能和机器学习技术应通过自身的公平性、可解释性、可审计性和安全性来建立信任。

总体来说，上述研究均从人工智能系统的“外在工具性”角度来讨论技术因素对人机合作中信任的影响。工具性相关的特征维度是人工智能系统的客观属性，是基于目标信任体的能力或胜任力来评价其能否完成任务，主要是结果导向的。其次，信任还受外部环境因素影响。在不同国家或地区建立信任的模式因法律法规、标准、规则不同而不同。良好的外部环境更容易促使信任方达成信任。在不同的地方，建立信任的模式因教育制度、接触现代先进事物的程度和微妙的内在文化而不同。Yuki等讨论了文化因素对信任建立模式的影响。人机合作中的信任还受到合作任务的性质和难度的影响。如果人机合作任务增加了太多的需求和工作量，出错的风险也随之升高。一方面，有研究表明，合作任务工作量的增加会导致人对人工智能系统的信任度降低，人类操作员会更喜欢独自执行任务。另一方面，Atoyan等通过实验证明，当人面对自身能力无法完成的复杂多任务环境时，可能会对合作的人工智能系统产生过度信任。最后，信任受人自身因素的强烈影响。根据Mayer等对信任的定义，信任主要反映个人信任他人的意愿和承受风险的能力，是人类主观的情感和道德相关属性。个人的倾向或意识形态将影响某人对特定个人或组织的信任程度，而这些立场将决定他如何接收、解释和回应对方的信息。由于人工智能系统使用者拥有不同的自身内在属性，在与人工智能系统的合作过程中，个体的差异可能会影响其对人工智能系统的信任建立。Haidt提出信任的建立受到人的六种自身属性（即关心、自由、公平、忠诚、权力和善良）影响。这些属性取决于个人的年龄、性格、过往经历和文化背景等因素。Sheridan认为Haidt的“六属性”理论上可以有效地应用于人机合作中的信任度建模，但个体差异对人机合作信任度的影响尚处于探索和尝试阶段，目前还缺少实证研究。

6.人际信任研究的发展方向

针对上述问题, 未来的人机信任研究工作可以考虑从以下方面着手：

1)在现有研究的基础上, 结合认知心理学、脑科学以及人机交互领域的最新进展, 对自动化信任这一隐藏的心理状态的本质及其动态发展过程做出更加合理的推断, 明确自动化信任定义, 完善一般自动化信任概念模型, 并在此基础上充分考虑人机协同控制应用背景、任务情境、自动化对象以及操作人员特点, 发展更具针对性和可操作性的自动化信任概念模型。

2)在现有测量方法的基础上, 识别多种测量方法结果之间的不一致, 寻找行为指标和生理及神经指标与主观信任水平的对应关系, 确定更加准确的实时测量指标, 以识别动态自动化信任的基本状态(适当的信任、信任不足和过度信任). 在准确的自动化信任测量方法的基础上, 根据计算模型的预期用途, 准确表示模型作用条件, 涵盖产生重要影响的环境及个体因素, 并且考虑未建模因素对模型性能的不良影响, 构建满足不同设计阶段需求的自动化信任计算模型以改进人机系统, 使操作者达到合适的自动化信任校准状态。

​