XAI—Explainable artificial intelligence论文解读

Abstract

这篇是对最近看的一篇论文XAI—Explainable artificial intelligence的中文解读。 Explainable Artificial Intelligence (XAI)对可解释AI展开讨论，主要围绕WHAT IS XAI?，EXPECTATION FROMUSERS，EXPLAINABILITY—EVALUATION ANDMEASUREMENT，XAI—ISSUES ANDCHALLENGES这四部分展开。

作者认为，可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。人工智能的最新成功很大程度上归功于以内部表示构造模型的新ML技术。 这些包括支持向量机（SVM），随机森林，概率图形模型，强化学习（RL）和深度学习（DL）神经网络。 尽管这些模型表现出很高的性能，但在可解释性方面却不透明。 机器学习性能（例如预测准确性）和可解释性之间可能存在内在的冲突。 通常，性能最高的方法（例如，DL）是最难以解释的，而最可解释的（例如，决策树）是最不准确的。 图1通过一些ML技术的性能-可解释性折衷的概念图说明了这一点。

WHAT IS XAI?

什么是XAI？可解释的AI（XAI）系统的目的是通过提供解释使人类的行为更易懂。 有一些通用原则可以帮助创建有效的，更易于理解的AI系统：XAI系统应该能够解释其功能和理解； 解释它做了什么，现在正在做什么以及接下来将发生什么； 并公开其作用的显着信息。

但是，每种解释都是在上下文中设置的，具体取决于AI系统用户的任务，能力和期望。 因此，可解释性和可解释性的定义取决于领域，并且可能不会独立于领域进行定义。 解释可以全部或部分。 完全可解释的模型给出完整而完全透明的解释。 部分可解释的模型揭示了其推理过程的重要部分。 可解释的模型服从根据域定义的“可解释性约束”（例如，关于某些变量和相关变量的单调性服从特定的关系），而黑匣子或不受约束的模型则不必遵循这些约束。部分说明可能包括可变重要性度量，在特定点近似全局模型的局部模型以及显着性图。

EXPECTATION FROMUSERS

XAI假设向最终用户提供了一个解释，而最终用户依赖于AI系统所产生的决策、建议或操作，但是可能会有许多不同类型的用户，通常在开发和使用系统的不同时间点。例如，一类用户可能是情报分析员、法官或操作员。然而，要求系统迁移的其他用户可能是开发人员或测试操作员，他们需要了解哪里可能有改进的地方。然而，另一个用户可能是政策制定者，他们试图评估系统的公平性。每个用户组可能有一个首选的迁移类型，该类型能够以最有效的方式通信信息。有效的解释将考虑到系统的目标用户组，他们的背景知识和需要解释的内容可能不同。

EXPLAINABILITY—EVALUATION ANDMEASUREMENT

已经提出了许多评估和衡量解释有效性的方法。 但是，目前尚没有测量XAI系统是否比非XAI系统更能使用户理解的通用方法。 从用户的角度来看，其中一些度量是主观度量，例如用户满意度，可以通过对说明的清楚性和实用性进行主观评估来度量。 解释效果的更客观的衡量标准可能是任务执行； 也就是说，说明是否可以改善用户的决策？ 可靠，一致地衡量解释的影响仍然是一个开放的研究问题。XAI系统的评估和衡量包括评估框架，共同点[不同的思维和相互理解，常识和论点。

XAI—ISSUES AND CHALLENGES

在机器学习和解释的交汇中，仍然存在许多积极的问题和挑战。
1）从计算机开始而不是从人开始。 XAI系统是否应该为特定用户量身定制解释？ 他们应该考虑用户缺乏的知识吗？ 我们如何利用解释来辅助交互式和在环学习，包括使用户能够与解释交互以提供反馈和引导学习？

2）准确性与可解释性。 XAI关于解释的研究的主要思路是探讨技术和可解释性的局限性。 可解释性需要考虑涉及准确性和保真度的权衡，并在准确性，可解释性和易处理性之间取得平衡。

3）使用抽象来简化解释。 高级模式是大步描述大型计划的基础。 自动化抽象发现长期以来一直是一个挑战，在XAI研究的今天，了解学习和解释中的抽象发现和共享是当今的前沿。

4）解释胜任力与做出决定。 高素质专家精通的标志是他们可以反思新情况。
有必要帮助最终用户从特定AI系统具有的能力，应如何衡量能力以及AI系统是否有盲点方面了解AI系统的能力；

从人类为中心的研究角度来看，对能力和知识的研究可以使XAI超越解释特定XAI系统并帮助其用户确定适当信任的角色。 将来，XAI最终可能会扮演重要的社会角色。 这些角色不仅可以包括向个人学习和适应，还可以与其他主体协作以连接知识，发展跨学科洞察力和共同立场，与他人和其他主体进行教学合作以及利用先前发现的知识来加速知识的进一步发现和应用。 从知识理解和生成的这种社会角度来看，XAI的未来才刚刚开始。

Reference

XAL