盘点 | 2016年AI十大失败案例

[人工智能][反面教材]

本文编译自：Hope Reese

在过去的一年里，人工智能如雨后春笋般成长起来，甚至有人称之为“人工智能元年”。自动驾驶、语音识别、风靡全球的游戏 Pokémon Go …… AI似乎已经无处不在，无所不能了。

但是，AI也在遭遇滑铁卢。下文为您列出了这其中最广为人知的十项失败案例。

在过去的一年里，AI向我们展示了机器蕴含的巨大潜力。

虽然AI技术取得了成功，但同样值得注意的是，AI会在什么时候、以什么样的形式出现问题，我们需要对这些错误给予更多的关注，以免在未来重蹈覆辙。

近日，路易斯维尔大学网络安全实验室（Cybersecurity Lab） 的主任 Roman Yampolskiy 发表了一篇论文，名为《Artificial IntelliGEnce Safety and Cybersecurity : a Timeline of AI Failures》 ，其中列出了人工智能在过去的一年里表现不太好的例子。 Yampolskiy 表示，这些失败都可以归因于 AI 系统在学习阶段以及表现阶段中犯的错误。

以下是依据 Yampolskiy 的论文以及诸多人工智能专家的意见，国外媒体 TechRepublic 整理而成的名单，排名不分先后。

1：用 AI 预测犯罪，涉及种族歧视

Northpointe 公司开发出了一个用来预测被指控的罪犯二次犯罪几率的人工智能系统。这个被称为“少数派报告”的算法被指责带有种族偏见倾向。因为在测试中，黑人罪犯被标注的概率远远高于其他人种。此外，另一家媒体 ProPubliCA 同时指出 Northpointe 的算法“即使除去种族歧视的问题，在大多数情况下正确率也并不高。”

图1 AI预测犯罪

2：视频游戏中，非玩家角色创造出了游戏设计者意料之外的武器

今年 6 月份，一个配备了 AI 的视频游戏“Elite: Dangerous ” 出现了一些游戏设计者意料之外的状况：AI 竟然造出了游戏设定之外的超级武器。一家游戏网站对此评论：“人类玩家或许会被 AI 创造的奇怪武器打败。”值得一提的是，随后游戏开发者就将这些武器撤销了。

图2 AI创造的超级武器

3：机器人伤人事件

Knightscope平台曾打造出了一个号称是“打击犯罪的机器人”。今年七月份，这个机器人在硅谷的一家商场里弄伤了一个 16 岁的少年。洛杉矶时报援引该公司的话称这是个“意外的事故”。

图3 机器人伤人

4：特斯拉自动驾驶车祸

今年，特斯拉的事故在全世界范围内层出不穷。5 月份，在佛罗里达的一条高速公路上，一辆开启了 Autopilot 模式的特斯拉发生了车祸，驾驶员致死。这是特斯拉全球首例死亡事件。

之后，特斯拉对 Autopilot 软件进行了重大更新，其 CEO 马斯克在接受采访时表示这种更新可以防止事故再次发生。此外，在中国等其他国家和地区也出现了多次特斯拉事故。但是，并没有任何一起事故表明是由AI系统直接导致的。

图4 特斯拉

5：微软聊天机器人Tay散布种族主义、性别歧视和攻击同性恋言论

微软为了吸引年轻的客户，去年春天在Twitter上推出了一款名为“Tay”的AI聊天机器人。“Tay”模仿一个十几岁的女孩，但她仅仅在亮相后的一天之内就变成了一个“喜欢希特勒，抨击女权主义的恶魔”。Tay会说出带有种族歧视、性别歧视、同性恋歧视的语言。随后，微软就将Tay从社交网络中撤下，并宣布计划对其算法进行“调整”。

图5 微软聊天机器人Tay

6：人工智能审美也有种族歧视

在首届“国际人工智能选美大赛”上，基于“能准确评估人类审美与健康标准”的算法的机器人专家组对人类面部进行评判。但由于未对人工智能提供多样的训练集，比赛的获胜者都是白人。

图6 AI主导的选美比赛中的获胜者，显示了其对有色人种的偏见

7：Pokémon Go 让游戏玩家集中在白人社区

7 月份，风靡全球的 Pokémon Go 游戏发布之后，人们发现只有极少的 Pokémon 位于黑人社区。Mint 的首席数据官 Anu Tewary 表示，因为这个算法的发明者并没有提供多种多样的训练集，而且他们并没有花费时间在黑人社区上。

图7 Pokémon Go

8：AlphaGo在第四局输给李世石

今年 3 月 13 日，谷歌AlphaGo与李世石的人机大战五番棋第四局在韩国首尔四季酒店战罢，围棋大师李世石中盘击败阿尔法，扳回一局。虽然最后人工智能还是获得了胜利，但是输了的一局显示目前的 AI 系统仍然不是很完善。

“或许李世石发现了蒙特卡洛树搜索（MCTS）的弱点。” 新南威尔斯大学的人工智能教授 Toby Walsh 说道。不过，虽然这被看做是人工智能的一个失败，但是 Yampolskiy 认为这种失败是在可接受范围内的。

图8 AlphaGo输给李世石

9：中国的面部识别系统可以预测罪犯，但是存在偏见

中国上海交大的两名研究人员发表了一篇名为《使用脸部图像的自动犯罪推理》的论文。研究人员对一半是罪犯的 1856 张面部图片进行分析，并且用一些可识别的面部特征来预测罪犯，比如唇曲率 ( lip curvature ) 、眼内角距 ( eye inner corner DIStance)，甚至还有口鼻角度 ( nose-mouth angle ) 等等。

对于该项研究，许多业界人士质疑测试结果，并指出其涉及了道德问题。

图9 预测犯罪

10：保险公司利用 Facebook数据预测事故发生率，但存在偏见

今年，英格兰最大的汽车保险公司Admiral Insurance打算从Facebook用户的帖子中寻找相关性，他们认为，用户使用社交媒体的情况与他们能否做个好司机之间存在相关性。

虽然这不是一个直接的AI失败，但是它是一个滥用AI的案例。

Walsh说，“Facebook在限制数据方面做得很好，阻止了这种事情的发生。” 。这个被称为“first car quote”的程序未曾实施，因为Facebook阻止该保险公司访问其数据。Facebook的政策要求其他公司不能“使用从Facebook获取的数据来做出关于资格的判定，包括是否批准或拒绝申请或对贷款收取多少利息等”。

图10 AI预测事故发生率

以上案例表明，AI系统极易存在偏见。因此，人类需要用多样化的数据集对机器学习算法进行训练，避免 AI 产生偏见。同时，随着 AI 的不断发展，保证相关研究的科学检测，确保数据的多样性，建立相关道德标准也变得越来越重要。