【人工智能】7 种著名的分析和 AI 灾难

来自数据和机器学习算法的洞察力可能非常宝贵，但错误可能会让您失去声誉、收入甚至生命。这些备受瞩目的分析和人工智能失误说明了可能出现的问题。

2017 年，《经济学人》宣布，数据而非石油已成为世界上最有价值的资源。从那以后，这种副歌一直在重复。各个行业的组织已经并将继续在数据和分析方面进行大量投资。但就像石油一样，数据和分析也有其阴暗面。

根据 CIO 的《2022 年 CIO 状况》报告，35% 的 IT 领导者表示，数据和业务分析将在今年推动其组织的最大 IT 投资。20% 的 IT 领导者表示机器学习/人工智能将推动最多的 IT 投资。从机器学习算法驱动的分析和行动中获得的洞察力可以为组织带来竞争优势，但在声誉、收入甚至生命方面，错误可能会付出高昂的代价。

了解您的数据及其告诉您的信息很重要，但了解您的工具、了解您的数据并牢记组织的价值观也很重要。

以下是过去十年中一些备受瞩目的分析和人工智能错误，以说明可能出现的问题。

AI 算法可识别除 COVID-19 之外的所有事物

自 COVID-19 大流行开始以来，许多组织都在寻求应用机器学习 (ML) 算法来帮助医院更快地诊断或分类患者。但据英国国家数据科学和人工智能中心图灵研究所称，预测工具几乎没有影响。

麻省理工科技评论记录了许多失败，其中大部分源于工具训练或测试方式的错误。使用错误标记的数据或来自未知来源的数据是常见的罪魁祸首。

剑桥大学机器学习研究员 Derek Driggs 和他的同事在 Nature Machine Intelligence 上发表了一篇论文，探讨了使用深度学习模型来诊断病毒。该论文确定该技术不适合临床使用。例如，Driggs 的小组发现他们自己的模型存在缺陷，因为它是在一个数据集上训练的，该数据集包括扫描时躺着的患者和站立的患者的扫描。躺着的病人更有可能患重病，因此该算法学会了根据扫描中人的位置来识别 COVID 风险。

一个类似的例子包括使用包含健康儿童胸部扫描的数据集训练的算法。该算法学会了识别儿童，而不是高危患者。

Zillow 减记数百万美元，由于算法购房灾难而裁员

2021 年 11 月，在线房地产市场 Zillow 告诉股东，它将在未来几个季度结束其 Zillow Offers 业务并裁员 25% 的公司员工——约 2,000 名员工。房屋翻转部门的困境是其用于预测房价的机器学习算法中的错误率的结果。

Zillow Offers 是一个程序，该公司通过该程序根据机器学习算法得出的房屋价值“Zestimate”对房产进行现金报价。这个想法是翻新这些房产并迅速翻转它们。但 Zillow 的一位发言人告诉 CNN，该算法的中位错误率为 1.9%，对于场外房屋的错误率可能更高，高达 6.9%。

CNN 报道称，Zillow 自 2018 年 4 月推出以来通过 Zillow Offers 购买了 27,000 套房屋，但到 2021 年 9 月底仅售出 17,000 套。COVID-19 大流行和家庭装修劳动力短缺等黑天鹅事件导致了算法的准确性问题。

Zillow 表示，该算法导致其无意中以高于其当前估计的未来售价的价格购买房屋，导致 2021 年第三季度的库存减记为 3.04 亿美元。

Zillow 联合创始人兼首席执行官 Rich Barton 在公告发布后与投资者举行的电话会议上表示，或许可以调整算法，但最终风险太大。

英国因超出电子表格数据限制而丢失了数千个 COVID 病例

2020 年 10 月，负责统计新的 COVID-19 感染的英国政府机构英国公共卫生 (PHE) 透露，在 9 月 25 日至 10 月 2 日期间，有近 16,000 例冠状病毒病例未报告。罪魁祸首？Microsoft Excel 中的数据限制。

PHE 使用自动化流程将 COVID-19 阳性实验室结果作为 CSV 文件传输到 Excel 模板中，用于报告仪表板和联系人追踪。不幸的是，Excel 电子表格每个工作表最多可以有 1,048,576 行和 16,384 列。此外，PHE 按列而不是按行列出案例。当案例超过 16,384 列的限制时，Excel 会切断底部的 15,841 条记录。

“故障”并没有阻止接受检测的个人收到他们的结果，但它确实阻碍了接触者追踪工作，使英国国家卫生服务 (NHS) 更难识别和通知与感染患者密切接触的个人. PHE 临时首席执行官迈克尔布罗迪在 10 月 4 日的一份声明中表示，NHS 测试和追踪和 PHE 迅速解决了这个问题，并将所有未决案件立即转移到 NHS 测试和追踪接触者追踪系统中。

PHE 实施了“快速缓解”，拆分大文件，并对所有系统进行了全面的端到端审查，以防止未来发生类似事件。

医疗保健算法未能标记黑人患者

2019 年，发表在《科学》杂志上的一项研究显示，美国各地的医院和保险公司使用一种医疗保健预测算法来识别需要“高风险护理管理”计划的患者，但这种算法不太可能单独挑出黑人患者。

高风险护理管理计划为慢性病患者提供训练有素的护理人员和初级保健监测，以防止严重并发症。但该算法更有可能为这些项目推荐白人患者，而不是黑人患者。

研究发现，该算法使用医疗保健支出作为确定个人医疗保健需求的代理。但根据《科学美国人》的说法，病情较重的黑人患者的医疗保健费用与健康白人的医疗费用相当，这意味着即使他们的需求更大，他们的风险评分也较低。

该研究的研究人员认为，可能有几个因素起作用。首先，有色人种更有可能收入较低，即使有保险，也可能使他们不太可能获得医疗服务。隐性偏见也可能导致有色人种接受低质量的护理。

虽然该研究没有命名算法或开发人员，但研究人员告诉《科学美国人》，他们正在与开发人员合作解决这种情况。

数据集训练微软聊天机器人吐出种族主义推文

2016 年 3 月，微软了解到，使用 Twitter 交互作为机器学习算法的训练数据可能会产生令人沮丧的结果。

微软在社交媒体平台上发布了人工智能聊天机器人 Tay。该公司将其描述为“对话理解”的实验。这个想法是聊天机器人将扮演一个少女的角色，并结合使用机器学习和自然语言处理，通过 Twitter 与个人互动。微软用匿名的公共数据和喜剧演员预先编写的一些材料为其播种，然后让它从社交网络上的互动中学习和发展。

在 16 小时内，聊天机器人发布了 95,000 多条推文，这些推文迅速变成了公然的种族主义、厌恶女性和反犹太主义。微软迅速暂停了该服务进行调整，最终拔掉了插头。

“我们对来自 Tay 的无意冒犯和伤害性推文深表歉意，这些推文并不代表我们是谁或我们代表什么，也不代表我们如何设计 Tay，”微软研究与孵化部（当时的公司副总裁）公司副总裁 Peter Lee微软医疗保健总裁），在事件发生后在微软官方博客上的一篇文章中写道。

Lee 指出，Tay 的前身小冰是微软 2014 年在中国发布的，在 Tay 发布前的两年内，已经成功与超过 4000 万人进行了对话。微软没有考虑到的是，一群 Twitter 用户会立即开始向 Tay 发布种族主义和厌恶女性的评论。该机器人迅速从该材料中学习并将其整合到自己的推文中。

“尽管我们已经为多种类型的系统滥用做好了准备，但我们对这种特定的攻击进行了严格的监督。结果，Tay 在推特上发布了非常不恰当和应受谴责的文字和图片，”李写道。

亚马逊人工智能招聘工具只推荐男性

与许多大公司一样，亚马逊渴望能够帮助其人力资源部门筛选应用程序以找到最佳候选人的工具。2014 年，亚马逊开始开发人工智能驱动的招聘软件来做到这一点。只有一个问题：该系统非常偏爱男性候选人。2018 年，路透社爆料亚马逊取消了该项目。

亚马逊的系统给候选人从 1 到 5 的星级评分。但系统核心的机器学习模型是根据提交给亚马逊的 10 年简历进行训练的——其中大部分来自男性。由于这些训练数据，该系统开始对简历中包含“女性”一词的短语进行处罚，甚至降级来自全女子大学的候选人。

当时，亚马逊表示，亚马逊招聘人员从未使用该工具来评估候选人。

该公司试图编辑该工具以使其保持中立，但最终决定无法保证它不会学习其他一些歧视性的候选人排序方式，并终止了该项目。

目标分析侵犯隐私

2012 年，零售巨头 Target 的一个分析项目展示了公司可以从他们的数据中了解多少客户。据《纽约时报》报道，2002 年，Target 的营销部门开始思考如何确定客户是否怀孕。这一调查导致了一个预测分析项目，该项目会导致零售商无意中向一名少女的家人透露她怀孕了。反过来，这将导致各种文章和营销博客引用该事件作为避免“令人毛骨悚然的因素”的建议的一部分。

Target 的营销部门想要识别怀孕的个体，因为在生命中的某些时期——尤其是怀孕时期——人们最有可能从根本上改变他们的购买习惯。如果塔吉特可以在那个时期接触到客户，例如，它可以培养这些客户的新行为，让他们转向塔吉特购买杂货、衣服或其他商品。

与所有其他大型零售商一样，Target 一直在通过购物者代码、信用卡、调查等方式收集客户数据。它将这些数据与其购买的人口统计数据和第三方数据混合在一起。对所有这些数据进行处理后，Target 的分析团队能够确定 Target 销售的大约 25 种产品可以一起分析以生成“怀孕预测”分数。然后，营销部门可以针对高分客户提供优惠券和营销信息。

进一步的研究表明，研究客户的生殖状况可能会让其中一些客户感到毛骨悚然。据《泰晤士报》报道，该公司并没有放弃其定向营销，而是开始在他们知道孕妇不会购买的东西中混入广告——包括在尿布广告旁边的割草机广告——以进行广告组合让客户觉得随意。

参考：7 种著名的分析和 AI 灾难https://cioctocdo.com/7-famous-analytics-and-ai-disasters