人工智能，你欠我们一个解释

智造观点

尽管人工智能发展迅速，但还是没能获得所有人的信任，原因之一就在于它在做出决策方面缺乏可解释性。正是因为人们无法理解人工智能是如何做到这一切的，所以它在法律、医疗健康以及处理敏感客户数据的企业中的部署也受到了影响。特别是在最近数据保护法规（如GDPR）不断颁出的背景下，了解数据是如何处理以及AI如何做出某种决定至关重要。

文/未末末

来源/人工智能观察（ID：Aiobservation）

人工智能出现以后，似乎正在逐步渗透到我们生活中的每个角落，其中不乏它为我们做出了一些非常重要的决定，比如，身体里的肿瘤是不是已经发生癌变；是否应该同意或拒绝保险索赔；旅客是不是应该被批准通过机场安检，甚至是否授权导弹发射以及是否批准自动驾驶汽车的制动，等等。

 

这些决定为医生、企业、机场、国家以及司机都带来了很大的方便，但也存在很大的问题：人工智能是如何做出这些决定的？很多科技巨头都进行过相应的研究，结果发现这一过程充满了复杂性，并且也不能被很好地解释出来。

然而，无论是出于合规性的原因还是为了消除偏见，了解人工智能决策制定能力从何而来是很必要的，这也就意味着，我们需要可解释的AI（Explainable AI，XAI）或者说透明的AI（Transparent AI ）。以社交媒体和医疗健康领域为例，可解释的AI对其发展有重要意义，不过，说起来容易做起来难。

Twitter ：可解释AI有助于平台的良好运行

本月早些时候美国参议院情报委员会召开听证会，围绕社交媒体存在的诸多问题进行讨论。Twitter首席执行官杰克·多西（Jack Dorsey）代表公司出席，期间他被要求为其平台造成的文化破坏以及政治影响负责。

多西说话轻声细语的，这与Facebook首席执行官马克·扎克伯格（Mark Zuckerberg）形成了鲜明的对比，后者在今年4月出席国会听证会的时候似乎更有信心。听证会期间，有代表不断向多西发问，包括Twitter的算法是否可以从他们所做的决策中学习，比如，建议用户去关注谁的Twitter、哪些推文会被置顶、哪些账户会因为违反平台服务规定而被禁止，更重要的是，多西是否能对这一切是如何运作的，做出解释。

 

对此，多西表示，“这是一个好问题。”然后他便引用了“可解释的AI”这一术语，按照他的说法，Twitter目前正在对此进行投资研究，只不过还处于早期阶段。但多西在听证会上也没有进行进一步的解释。不过，这并不是他第一次提到人工智能的解释能力。今年8月，他在接受福布斯的采访时，也称，“我们需要做更多的工作来解释我们的算法是如何运行的，最好是能把它们打开，这样人们就知道AI是如何工作的了。”

 

不过，多西也表示，这不容做到，尽管在人工智能领域对人工智能的可解释性有一个完整的研究，试图理解算法在某个标准下是如何做出决定的。

IBM Watson：可解释AI更受医生信任

对于医疗领域的人工智能应用已经屡见不鲜，IBM Watson作为“开山鼻祖”，特别是Watson for Oncology在其发展过程中也经历了各种“痛苦”，但总的来说，人工智能的黑匣子问题是关键，即如果人们不知道AI是如何做出决定的，那么就不会相信它。

对此，谷歌用户体验研究员兼Avantgarde Analytics创始人Vyacheslav Polonski表示，“IBM试图将其超级计算机程序Watson for Oncology推广给肿瘤医生是一场公关失败，因为关键原因在于医生根本不相信它。”具体来说，当Watson的结果与医生的结论相一致时，会得到医生的认可，但并没有达到帮助诊断的层面。但当二者结论不统一时，医生们只会认为IBM Watson的结果是错误的。

 

不过，如果医生知道它的结论如何得出的，结果可能会有所不同。“人工智能的决策过程通常对大多数人来说太难理解，”Polonski表示。“与我们不理解的事物互动会让人引起焦虑，让我们有种失控感。”因此，如果肿瘤医生已经了解了Watson是如何获得答案的，也就是具有了可解释性，那么医生的信任程度会更高。、

可解释的AI究竟是什么？

随着人工智能驱动的系统越来越多的做出决定，人类对其如何做出决策的理解显得至关重要。简单来说，可解释的AI是一个概念，其中涉及到人工智能和其决策是如何对用户透明的，尽管这只是一个定义。从历史的角度看，人工智能最常见的发展史黑匣子路线：人类输入“成本”，人工智能输出结果，中间的过程一直在被研究但却从未完全或准确的做出过解释。

 

在某些情况下，可解释的AI可能是不必要的，比如理解为什么亚马逊会为你推荐某一部电影或某个商品，因为这与个人兴趣爱好有关，是否观看或购买需要个人再下决定。但是在某些情况下，像关于医疗健康以及司法系统等领域，解读人工智能给出的决策时，了解算法的行为就很重要。

 

算法时代，我们已经目睹了很多决策过程中算法使用的爆炸式增长，却未能很好的处理其“适得其反”的结果，Facebook的剑桥分析事件就是一个很好的例子。所以很多科技巨头都同意“更好的为其算法的工作方式作出解释”，同时，这也是保证他们在释放AI数据之前能高枕无忧的完美解决方案。

在这种情况下，不管是政府机构还是企业巨头，都在努力投资可解释的AI试图改变这一情况。

美国国防部投资XAI，为其开发工具包

据了解，美国国防部（DoD）正在投资可解释的人工智能，以探索可以使自助系统对其行为进行更好的解释的技术。国防高级研究计划局（DARPA）已经确定在自主系统向分析师提供有关可疑活动的信息或需要进一步检查的情况下，分析人员有必要让自主系统解释为什么要执行例如将特定照片、数据或特定的人带给分析人员这样的行为。

 

按照DARPA的设想，XAI的目标是“产生更多可解释的模型，同时保持高水平的学习表现（预测准确性）；使人类用户理解、适当、信任和有效地管理新一代人工智能合作伙伴”。

 

“可解释的人工智能——特别是可解释的机器学习——如果未来的战士要了解，适当信任并有效管理新一代人工智能机器合作伙伴，将是必不可少的，”国防高级研究计划局项目经理David Gunning解释道。“新的机器学习系统将能够解释他们的理由，描述他们的优势和劣势，并传达他们对未来行为的理解。”

IBM推出云服务，检测并减少AI偏差

深知可解释AI重要性的IBM，在此领域的研发也不会落下。本周三，IBM推出了一项提高人工智能透明度的技术，使企业能够更全面地驾驭人工智能的力量。

具体来说，这一基于IBM云计算的软件服务，能够在人工智能进行决策时自动检测偏向性并能够对决策过程进行解释，从而帮助各行各业的组织管理人工智能系统。IBM服务部门也将与企业一同合作，帮助他们更好地利用这一全新的软件服务。

 

此外，IBM研究院还将面向开源社区发布人工智能偏向性检测和纠偏控制工具包，旨在通过先进的工具和培训促进全球协作，以进一步解决人工智能偏见问题。

 

对此，IBM Watson AI总经理Beth Smith 表示：“IBM曾引领行业确立了开发新型人工智能技术的信任原则和透明度原则，现在我们将这些原则付诸了实践。任何有缺陷的决策都会给使用人工智能的企业带来极大的潜在风险，而我们为企业提供了提高透明度和加强控制的方法。”

 

另外，除了这个软件服务，IBM还将向开源社区提供AI Fairness 360工具包，其中包括一系列新型算法、代码和教程的资源库，可为专业学者、研究者和数据专家提供在构建和部署机器学习模型时整合偏向性检测功能的工具和知识，让那些对AI系统进行编程的人可以更深入的了解他们所建立程序的可靠性，并确信该模型是否可以经得起全面部署。

 

在此之前，IBM商业价值研究院的的一项调查结果表明，虽然有82%的企业正在考虑运用人工智能，但有60%的企业都担心责任问题，63%的企业都缺乏能够可靠管理这种技术的内部人才。也就是说，人工智能决策的可解释性可以为管理人员提供他们在企业范围内实施人工智能战略所需要的信心。

 

那可解释的AI最后能成功吗？在小智君看来（ID：Aiobservation）看来，或许不会有完美的解决方案出现，虽然可解释的人工智能是一个重要的思想领域，同时也有可能成为未来机器学习的核心，但随着模型变得越来越复杂，确定简单的、可解释的规则就会变得越来越困难。这些规则主要描述为什么一些人工智能系统会按照它所做的方式对任何给定的输入进行分类、组合、操作。反过来说，如果这些规则简单易懂，是不是就意味着我们本不需要很复杂的学习系统呢？

（文中图片来自网络）

近期热文：

人工智能带来了希望，但也设下了陷阱

聊天机器人崛起的时机、失利的现实以及未来的发展

“每天穿什么”的问题，终于有了AI解决方案

苹果手表获FDA认可，但智能医疗的数据偏见却成了障碍

CB Insights：全面拆解谷歌AI战略布局

无人船也要来了！“陆海空”终将全部进入自驾模式

Waymo被曝发展艰难，“由爱生恨”的自动驾驶将开向哪里

超级大国之外的竞争，人工智能进入“国别化”发展

全球智慧城市将达上千个，但66%的人却不想住，为何？

口音成语音识别发展最大公敌，新解决方案正在开发中

三个最新案例，带你了解AI如何让美妆产业智能化

媒体误读夸大，科学家发文辟谣，AI妖魔化的锅谁来背？

梦想还是梦魇，告诉你一个真实的量子计算世界

投稿、约访、合作，联系邮箱[email protected]

添加微信aixiaozhijun，更多交流或进AI观察团