人工智能简介

1、人工智能导论

欢迎来到AI道德课程！

人工智能对从社交媒体到医疗保健的方方面面都产生了越来越大的影响。人工智能用于做出信用卡决策，在机场进行视频监控，并通知军事行动。这些技术有可能伤害或帮助他们所服务的人。通过运用伦理视角，我们可以努力识别这些技术可能对人类造成的危害，我们可以设计和建造它们来减少这些危害，或者决定不建造它们。

本课程没有任何先决条件，我们也没有任何编程背景。

您的导师Var Shankar（曾在工业领域从事人工智能道德研究）和Alexis Cook（曾设计和培训人工智能模型）合作构建了这门应用和实践课程。在练习中，您将运行代码来训练和研究AI模型。如果您已经在一个开发AI产品的团队中，并且不知道从哪里开始，我们将提供可行的建议。

本课程涵盖几个主题：

在以人为中心的设计课程中，您将学习如何设计人工智能系统，以确保其满足预期用户的需求。

在偏见课程中，您将确定AI系统如何学会歧视特定群体。

在公平课程中，您将学习量化AI系统中的偏差程度。

在模型卡课程中，您将学习如何使用流行的框架来改进AI模型的公共责任。

随着人工智能领域的发展，人工智能伦理也在不断发展。正如一位明智的朋友曾经告诉我们的，“道德是一场对话。”这门课程可以帮助你开始对话，但不能结束对话。我们没有涵盖的一些主题包括：人工智能对贫富之间的数字技术鸿沟、就业和独裁政府能力的潜在影响，等等。也就是说，在整个课程中，我们建议接下来的步骤，以继续您的学习，并在道德对话继续发展的过程中遵循道德对话。

2、以人为本的人工智能设计

介绍

在选择数据和训练模型之前，重要的是仔细考虑人工智能系统应该服务的人类需求，以及它是否应该被构建。

以人为中心的设计（HCD）是一种设计满足人们需求的系统的方法。

在本教程中，您将学习如何将HCD应用于AI系统。然后，通过将HCD应用于有趣的现实场景中的设计问题，您将在练习中测试您的知识。

方法

HCD让人们参与设计过程的每一步。您的团队应该尽早采用HCD方法来处理AI——理想情况下，从您开始考虑构建AI系统的可能性时开始。

以下六个步骤旨在帮助您开始将HCD应用于AI系统的设计。这就是说，HCD对您的意义将取决于您的行业、您的资源、您的组织和您寻求服务的人员。

1.了解人们定义问题的需求

与人们合作，了解他们当前旅程中的痛点，有助于找到未解决的需求。这可以通过观察人们浏览现有工具、进行访谈、召集焦点小组、阅读用户反馈和其他方法来实现。您的整个团队——包括数据科学家和工程师——都应该参与这一步骤，以便每个团队成员都了解他们希望服务的人。您的团队应该包括并包括具有不同观点和背景、种族、性别和其他特征的人员。明确你的问题定义，一起集思广益，想出创造性和包容性的解决方案。

一家公司希望解决肝移植后患者服用免疫抑制剂的剂量误差问题。该公司从观察医生、护士和其他医院员工整个肝移植过程开始。它还采访了他们关于当前剂量测定过程的情况——这取决于公布的指导方针和人类判断——并与整个开发团队分享了采访中的视频剪辑。该公司还审查研究报告，并召集前患者及其家属的焦点小组。所有团队成员都参加一个自由的头脑风暴会议，寻找潜在的解决方案。

2.询问AI是否为任何潜在解决方案增加价值

一旦你清楚你需要解决的问题，以及如何考虑AI是否增加价值。

人们是否会普遍认为你正在努力实现的是一个好的结果？

非人工智能系统——比如更容易创建、审核和维护的基于规则的解决方案——是否会比人工智能系统效率低很多？

你使用人工智能完成的任务是否会让人觉得无聊、重复或难以集中注意力？

人工智能解决方案在过去的类似用例中是否比其他解决方案更好？

如果您对这些问题中的任何一个回答为“否”，则人工智能解决方案可能不必要或不合适。

一个灾难响应机构正在与第一响应者合作，以减少从灾难（如洪水）中营救人员所需的时间。对无人驾驶飞机和卫星照片进行耗时费力的人工检查，以发现受困人员，从而延长救援时间。每个人都同意，加快照片审查将是一个好结果，因为更快的救援可以挽救更多的生命。该机构确定，对于这项任务，人工智能图像识别系统可能比非人工智能自动化系统更有效。它还意识到，基于人工智能的图像识别工具已成功应用于审查农业等其他行业的航空镜头。因此，该机构决定进一步探索基于人工智能的解决方案的可能性。

3、考虑人工智能系统可能造成的潜在危害

在整个设计过程中，权衡使用人工智能的好处和潜在危害：从收集和标记数据到培训模型，再到部署人工智能系统。考虑对用户和社会的影响。您的隐私团队可以帮助发现隐藏的隐私问题，并确定隐私保护技术（如差异隐私或联合学习）是否合适。采取措施减少危害，包括在数据选择、模型培训和系统运行中更有效地嵌入人，从而更有效地嵌入人的判断。如果您估计危害可能大于好处，请不要构建系统。

一家在线教育公司希望使用人工智能系统来“阅读”并自动为学生论文分配分数，同时重新引导公司员工对随机论文进行检查，并审查人工智能系统有问题的论文。该系统将使该公司能够迅速将分数反馈给学生。该公司成立了一个危害审查委员会，建议不要建立该系统。委员会指出的一些主要危害包括：

人工智能系统可能从训练数据中发现对某些语言模式的偏见并加以放大（伤害使用这些语言模式的群体中的人），鼓励学生“游戏”算法，而不是改进他们的论文，减少教育专家的课堂角色，同时增加技术专家的角色。

4.原型，从非人工智能解决方案开始

快速开发您的人工智能系统的非人工智能原型，以了解人们如何与之交互。这使得原型制作更容易、更快、更便宜。它还为您提供了有关用户对您的系统的期望以及如何使他们的交互更加有益和有意义的早期信息。

设计原型的用户界面，以便于人们了解系统的工作方式、切换设置和提供反馈。

提供反馈的人应该有不同的背景——包括种族、性别、专业知识和其他特征。他们还应该理解并同意他们在帮助什么以及如何帮助。

一家电影流媒体初创公司希望利用人工智能根据用户的偏好和观看历史向用户推荐电影。该团队首先邀请不同的用户群体与电影爱好者分享他们的偏好和观看历史，然后由电影爱好者推荐用户可能喜欢的电影。根据这些对话和关于用户喜欢哪些推荐电影的反馈，团队改变了电影分类方法。尽早从不同的用户群中获得反馈并进行迭代通常可以让团队尽早改进其产品，而不是在以后进行昂贵的更正。

5.为人们提供挑战系统的方式

一旦你的人工智能系统上线，使用它的人应该能够质疑它的建议，或者很容易选择不使用它。建立系统和工具，以接受、监控和应对挑战。

与用户交谈并从用户的角度思考：如果您对系统的建议感到好奇或不满意，您是否希望通过以下方式对其提出质疑：

要求解释它是如何得出建议的？

请求更改您输入的信息？

关闭某些功能？

在社交媒体上接触产品团队？

采取其他行动？

一家在线视频会议公司使用人工智能在视频通话中自动模糊背景。该公司已成功地与来自不同种族的不同人群测试了其产品。不过，它知道，在某些情况下，视频可能无法正确地聚焦在一个人的脸上。因此，它使背景模糊功能成为可选功能，并为客户添加了一个报告问题的按钮。该公司还成立了一个客户服务团队，以监控社交媒体和其他在线论坛的用户投诉。

6.内置安全措施

安全措施保护用户免受伤害。他们试图通过确保系统可靠地提供高质量的结果来限制意外行为和事故。这只能通过广泛和持续的评估和测试来实现。围绕您的AI系统设计流程，以持续监控性能、预期收益的交付、减少危害、公平性指标以及人们实际使用它的方式的任何变化。

系统需要的安全措施类型取决于其用途及其可能造成的危害类型。首先审查类似非人工智能产品或服务中内置的安全措施清单。然后，回顾您之前对在系统中使用AI的潜在危害的分析（参见步骤3）。

人工对人工智能系统的监督至关重要：

创建一个人的“红色团队”，扮演一个人试图操纵你的系统，使其产生意外行为的角色。然后，加强你的系统，防止任何此类操纵。

确定您的组织中的人员如何在系统上线后最好地监控系统的安全。

探索AI系统在面临挑战性案例时快速提醒人类的方法。

为用户和其他人创建标记潜在安全问题的方法。

为了提高产品的安全性，一家开发广泛使用人工智能语音助手的公司创建了一个永久性的内部“红色团队”，扮演想要操纵语音助手的坏演员的角色。红队开发对抗性输入来愚弄语音助手。然后，该公司使用“对抗性培训”来保护产品免受类似的对抗性输入，从而提高其安全性。

了解更多

要深入了解HCD在AI中的应用，请查看以下资源：

莱克斯·弗里德曼关于以人为中心的人工智能的介绍性讲座

谷歌的People+AI研究（PAIR）指南

斯坦福以人为中心的人工智能（HAI）研究

3、识别人工智能中的偏见

介绍

机器学习（ML）有可能改善人们的生活，但也可能造成危害。ML应用程序基于种族、性别、宗教、社会经济地位和其他类别歧视个人。

在本教程中，您将了解偏见，它指的是ML应用程序的负面、不必要的后果，特别是如果这些后果对某些群体产生了不成比例的影响。

我们将讨论可能影响任何ML应用程序的六种不同类型的偏差。然后，你将把你的新知识运用到实际操作中，在实际场景中识别偏见。

偏见是复杂的

许多ML从业者熟悉“有偏见的数据”和“垃圾输入，垃圾输出”的概念。例如，如果您正在使用包含反犹太主义在线对话（“垃圾输入”）的数据集训练聊天机器人，聊天机器人可能会发表反犹太主义言论（“垃圾输出”）。这个例子详细说明了一种重要的偏见类型（称为历史偏见，如下所示），应该加以识别和解决。

这不是偏见破坏ML应用程序的唯一方式。

数据中的偏差是复杂的。如果一个群体在培训数据中的代表性不足，那么有缺陷的数据也会导致代表性偏差（本教程后面将介绍）。例如，当训练面部检测系统时，如果训练数据主要包含肤色较浅的个体，那么对于肤色较深的用户，它将无法表现良好。从训练数据中产生的第三种类型的偏差称为测量偏差，您将在下文中了解。

不仅仅是有偏见的数据会导致不公平的ML应用程序：正如您将了解到的，偏见还可能源于ML模型的定义方式、模型与其他模型的比较方式以及日常用户解释模型最终结果的方式。伤害可能来自ML过程中的任何地方。

六种偏见

一旦我们意识到不同类型的偏差，我们就更有可能在ML项目中检测到它们。此外，有了共同的词汇，我们可以就如何减轻（或减少）偏见进行富有成效的对话。

我们将密切关注2020年初的一篇研究论文，该论文描述了六种不同类型的偏见。

历史偏见

当生成数据的世界状态有缺陷时，就会出现历史偏见。

截至2020年，《财富》500强CEO中只有7.4%是女性。研究表明，拥有女性首席执行官或首席财务官的公司通常比拥有男性相同职位的公司利润更高，这表明女性的招聘标准高于男性。为了解决这个问题，我们可以考虑删除人力输入，并使用人工智能，使招聘过程更加公平。但如果使用过去招聘决策的数据来训练模型，这可能证明是徒劳的，因为模型可能会学习证明数据中存在的相同偏见。

表征偏差

当构建用于训练模型的数据集时，如果这些数据集不能很好地表示模型将服务的人员，则会出现表示偏差。

通过智能手机应用程序收集的数据将低于那些不太可能拥有智能手机的群体。例如，如果在美国收集数据，65岁以上的个人代表将不足。如果将数据用于城市交通系统的设计，这将是灾难性的，因为老年人有重要的需求来确保系统的可访问性。

测量偏差

测量偏差发生在数据的准确性因组而异时。如果代理的质量在不同的组中不同，则在使用代理变量（替代无法直接测量的变量）时可能会发生这种情况。

当地医院根据过去的诊断、药物和人口统计数据等信息，使用模型在高危患者病情恶化之前识别他们。该模型利用这些信息预测医疗成本，其思想是成本较高的患者可能对应于高风险患者。尽管该模型明确排除了种族，但它似乎证明了种族歧视：该算法不太可能选择合格的黑人患者。这怎么可能呢？这是因为成本被用作风险的代表，而这些变量之间的关系因种族而异：黑人患者的护理障碍增加，对医疗系统的信任度降低，因此与健康状况相同的非黑人患者相比，平均医疗成本较低。

聚集偏见

当组被不适当地组合时，会出现聚集偏差，导致模型对任何组都不适用，或者只对大多数组适用(这通常不是问题，但在医疗应用中最常见。）

西班牙裔比非西班牙裔白人有更高的糖尿病和糖尿病相关并发症发生率。如果要构建人工智能来诊断或监测糖尿病，重要的是要使系统对这些种族差异敏感，可以将种族作为数据中的一个特征，也可以为不同的种族群体构建单独的模型。

评价偏差

如果基准数据（用于将模型与执行类似任务的其他模型进行比较）不代表模型将服务的总体，则在评估模型时会出现评估偏差。

性别阴影研究报告发现，两个广泛使用的面部分析基准数据集（IJB-A和Adience）主要由肤色较浅的受试者组成（分别为79.6%和86.2%）。商业性别分类AI在这些基准上显示了最先进的表现，但在有色人种中的错误率过高。

部署偏差

当模型要解决的问题与实际使用的方式不同时，就会出现部署偏差。如果最终用户没有按照预期的方式使用模型，则无法保证模型的性能良好。

刑事司法系统使用各种工具来预测被定罪的罪犯重新犯罪的可能性。这些预测不是为法官在判刑时决定适当惩罚而设计的。

我们可以直观地表示这些不同类型的偏差，这些偏差发生在ML工作流的不同阶段：

请注意，这些并不是相互排斥的：也就是说，一个ML应用程序很容易遭受多种类型的偏差。例如，正如Rachel Thomas在最近的一次研究报告中所描述的，可穿戴健身设备中的ML应用程序可能会受到以下问题的影响：

表示偏差（如果用于训练模型的数据集排除较暗的肤色），

测量偏差（如果测量设备在肤色较暗时表现出性能降低），以及

评估偏差（如果用于基准模型的数据集不包括较暗的肤色）。

4、人工智能公平

介绍

在公平机器学习（ML）模型中，有许多不同的定义方法。例如，假设我们正在使用一个批准（或拒绝）信用卡申请的模型。它是：

如果批准率在不同性别之间相等，那么是否公平

如果将性别从数据集中删除并从模型中隐藏，效果会更好吗？

在本教程中，我们将介绍四个标准，用于确定模型是否公平。然后，您将应用在实践练习中学到的知识，在实践练习中，您将运行代码来训练几个模型，并分析每个模型的公平性(对于本课程中的每一课，不需要事先有编码经验。）

四项公平标准

这四个公平性标准是一个有用的起点，但值得注意的是，还有更多形式化公平性的方法，我们鼓励您探索。

假设我们正在使用一个模型，该模型选择个人来获得一些结果。例如，该模型可以选择应该批准贷款的人，接受大学，或提供就业机会。因此，我们不考虑执行面部识别或文本生成等任务的模型。

1.人口均等/统计均等

人口均等说，如果由该模型选出的人的组成与申请者的群体成员百分比相匹配，那么该模型是公平的。

一个非营利组织正在组织一个国际会议，已有20000人报名参加。组织者编写了一个ML模型来选择100名与会者，他们可能会在会议上进行有趣的演讲。由于50%的与会者将是女性（20000人中有10000人），因此他们设计的模型使50%的被选中的演讲者候选人是女性。

2.机会均等

平等机会公平确保模型正确选择的应被模型选择的人（“积极因素”）的比例对于每个群体都是相同的。我们将此比例称为模型的真阳性率（TPR）或敏感性。

医生使用一种工具来识别需要额外护理的患者，这些患者可能有发展成严重疾病的风险(作为第二种意见，该工具仅用于补充医生的实践。）它旨在为每个人口统计组提供相等的高TPR。

3.等精度

或者，我们可以检查模型对每组的准确性是否相同。也就是说，每个组正确分类的百分比（应该被拒绝和被拒绝的人，以及应该被批准的人和被批准的人）应该相同。如果该模型对一组中的个体的准确率为98%，则对其他组的准确率应为98%。

银行使用一个模型来批准人们贷款。该模型的设计对每个人口统计组都同样准确：这样，银行就避免了批准应该被拒绝的人（这将对申请人和银行造成经济损失），也避免了拒绝应该被批准的人（这将是申请人失败的机会，并减少银行的收入）。

4.团体不知情/“通过不知情实现公平”

组成员信息从数据集中删除所有组成员信息。例如，我们可以删除性别数据，以使模型对不同性别群体公平。同样，我们可以删除有关种族或年龄的信息。

在实践中应用此方法的一个困难是，必须小心识别和删除组成员数据的代理。例如，在种族隔离的城市，邮政编码是种族的有力代表。也就是说，当种族数据被删除时，邮政编码数据也应该被删除，否则ML应用程序可能仍然能够从数据中推断出个人的种族。此外，不了解群体公平性不太可能是解决历史偏见的好办法。

例子

我们将用一个小例子来说明四种不同类型的公平性之间的差异。我们将使用混淆矩阵，这是用于理解ML模型性能的常用工具。下面的示例描述了该工具，该工具描述了一个准确率为80%的模型（因为8/10的人被正确分类），真实阳性率为83%（因为5/6的“阳性”被正确分类）。

为了了解模型的性能在不同组之间的差异，我们可以为每个组构建不同的混淆矩阵。在这个小例子中，我们假设只有20人的数据，平均分为两组（10人来自A组，10人来自B组）。

下一幅图显示了如果模型满足人口均等公平性，混淆矩阵可能是什么样子。模型考虑每组10人（50%来自A组，50%来自B组）。14人（50%来自A组，50%来自B组）被模型批准。

为了公平机会，每个群体的TPR应该相同；在下面的例子中，在每种情况下都是66%。

接下来，我们可以看到混淆矩阵如何寻找相同的准确性和公平性。对于每组，模型的准确率为80%。

请注意，无法从混淆矩阵中检测到组不知道公平性，更关心的是从数据集中删除组成员信息。

现在花点时间研究这些玩具的例子，并用它来建立你对不同类型的公平之间的差异的直觉。如果A组的申请人数是B组的两倍，那么该示例将如何改变？

还要注意，没有一个示例满足一种以上的公平性。例如，人口均等的例子不能满足同等的准确性或同等的机会。现在花点时间验证一下。在实践中，不可能为一种以上的公平性优化一个模型：要了解更多这方面的信息，请探索机器公平性的不可能性定理。那么，如果您只能满足一个公平标准，那么您应该选择哪一个公平标准呢？与大多数道德问题一样，正确的答案通常不是直截了当的，选择标准应该是团队中每个人都参与的长时间对话。

当处理一个真实的项目时，数据将变得越来越大。在这种情况下，混淆矩阵仍然是分析模型性能的有用工具。然而，需要注意的一件重要事情是，现实世界的模型通常不能完美地满足任何公平性定义。例如，如果选择“人口均等”作为公平性指标，其中模型的目标是选择50%的男性，那么最终模型可能最终选择接近但不完全是50%的百分比（如48%或53%）。

了解更多

使用交互式工具探索不同类型的公平性。

你可以在这篇博文中阅读更多关于平等机会的内容。

通过这个假设工具的演练分析ML公平性，该工具由Google的People and AI Research（PAIR）团队创建。一旦您选择了最适合您的用例的公平性标准，该工具允许您快速修改ML模型。

5、模型

介绍

模型卡是一个简短的文档，提供有关机器学习模型的关键信息。模型卡通过向广大受众传达有关经过培训的模型的信息来提高透明度。

在本教程中，您将了解为哪些受众编写模型卡，以及模型卡应包含哪些部分。然后，在下面的练习中，您将把学到的知识应用到两个真实场景中。

模型

尽管人工智能系统在每个行业都扮演着越来越重要的角色，但很少有人了解这些系统是如何工作的。人工智能研究人员正在探索许多方法来交流有关模型的关键信息，以告知使用人工智能系统的人、受人工智能系统影响的人和其他人。

2019年一篇论文中介绍的模型卡是团队向广大受众传达其AI系统关键信息的一种方式。这些信息通常包括模型的预期用途、模型的工作方式以及模型在不同情况下的性能。

你可以认为模型卡与包装食品上的营养标签相似。

模型卡示例

在我们继续之前，简要浏览一些模型卡的示例可能会有所帮助。

Salesforce的模型卡

打开AI的GPT-3模型卡

谷歌云的示例模型卡

你的模型卡的观众是谁？

模型卡应在易于理解和传达重要技术信息之间取得平衡。当你写一张模型卡片时，你应该考虑你的听众：最有可能阅读你的模型卡片的人群。这些组将根据AI系统的用途而有所不同。

例如，医疗专业人员、科学家、患者、研究人员、决策者和类似人工智能系统的开发人员可能会阅读人工智能系统的模型卡，该模型卡可帮助医疗专业人员解读x射线，以更好地诊断肌肉骨骼损伤。因此，模型卡可能会假定一些医疗保健和人工智能系统的知识。

模型卡应包含哪些部分？

根据原始文件，模型卡应包含以下九个部分。请注意，不同的组织可能会根据其需要添加、减少或重新排列模型卡部分（您可能已经在上面的一些示例中注意到这一点）。

当您阅读不同部分时，我们鼓励您回顾原始论文中的两个示例模型卡。继续之前，请在新窗口中打开每个模型卡示例：

图像中的模型卡微笑检测

模型卡-文本中的毒性

1.型号详情

包括背景信息，例如开发人员和模型版本。

2.预期用途

范围内有哪些用例？

您的目标用户是谁？

哪些用例超出范围？

3.因素

哪些因素会影响模型的影响？例如，微笑检测模型的结果因人口统计因素（如年龄、性别或种族）、环境因素（如照明或降雨）和仪器（如相机类型）而不同。

4.指标

您使用什么标准来衡量模型的性能？你为什么选择这些指标？

对于分类系统（其中输出为类别标签），潜在错误类型包括假阳性率、假阴性率、假发现率和假遗漏率。每种方法的相对重要性取决于用例。

对于基于分数的分析（输出是分数或价格）考虑组间的报告模型性能。

5.评价数据

您使用了哪些数据集来评估模型性能？如果可以，请提供数据集。

为什么选择这些数据集进行评估？

数据集是否代表典型用例、预期测试用例和/或挑战性用例？

6.培训数据

模型是在哪些数据上训练的？

7.定量分析

模型在您选择的指标上表现如何？按重要因素及其交叉点细分绩效。例如，在微笑检测示例中，性能按年龄（例如，年轻，老年）、性别（例如，女性，男性）进行细分，然后按两者（例如，老年女性，老年男性，年轻女性，年轻男性）进行细分。

8.道德考虑

描述与模型相关的道德考虑因素，如用于培训模型的敏感数据，模型是否对人类生命、健康或安全有影响，如何降低风险，以及模型使用中可能存在的危害。

9.注意事项和建议

添加模型卡其他地方未涵盖的任何重要内容。

如何在组织中使用模型卡？

使用详细的模型卡通常具有挑战性，因为组织可能不想透露其流程、专有数据或商业秘密。在这种情况下，开发团队应该考虑模型卡如何在不包含敏感信息的情况下发挥作用。

一些团队使用其他格式（如FactSheets）来收集和记录ML模型信息