AI犯错谁之过？切勿盲目相信之

\u003cpreface\u003e\n\u003cp\u003e\u003cstrong\u003eAI前线导读：\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e人工智能、机器学习，在这个智能当道的时代，你几乎可以在任何地方看到AI的身影，小到你手里的智能手机，大到工厂的超大型生产设备，人们相信人工智能，甚至在某些领域，人们已经开始对AI产生了依赖。但是，AI的判断一定是准确的吗？如果AI出现了失误，那么这个责任应该是谁的呢？本文作者Cassie Kozyrkov对这一问题提出了他的想法。\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e更多干货内容请关注微信公众号“AI前线”（ID：ai-front）\u003c/strong\u003e\u003c/p\u003e\n\u003c/preface\u003e\n\u003cbr\u003e\n\u003cp\u003e别误会，我其实很喜欢\u003ca href=\"http://bit.ly/quaesita_emperor\"\u003e机器学习和人工智能\u003c/a\u003e，但我不会盲目地相信它们，你应该也是吧，因为建立有效的、可信任的\u003ca href=\"http://bit.ly/quaesita_emperor\"\u003e人工智能或机器学习\u003c/a\u003e解决方案是一个建立信任的过程。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c01138dbe672.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：盲目信任是件可怕的事情\u003c/center\u003e \n\u003cbr\u003e\n在你开始臆想任何有关机器人或科幻小说的故事之前，先打断一下！\u003ca href=\"http://bit.ly/quaesita_emperor\"\u003e人工智能系统\u003c/a\u003e并不像人类那样，它们只是被赋予了诗意般名字的贴标机。它们之所以不值得信任，是因为一些其他原因。正所谓事实胜于雄辩，让我们来看几个\u003ca href=\"http://bit.ly/quaesita_unsupervised1\"\u003e熟悉的例子\u003c/a\u003e吧。\n\u003ch3\u003e设定场景\u003c/h3\u003e\n\u003cp\u003e欢迎吸猫。在之前的文章中我们建立了一个分类器将以下这六张图片分为两组。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c01138e3a917.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：《[揭秘无监督学习(http://bit.ly/quaesita_unsupervisedimg)》中的原始数据集，两只不同的猫的图片。\u003c/center\u003e\n\u003cbr\u003e\n之前，我们建立的\u003ca href=\"http://bit.ly/quaesita_simplest\"\u003e机器学习系统\u003c/a\u003e成功地返回了我所期望的结果！\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c011390b5d87.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e 图：这个例子是为了说明有监督学习和无监督学习\u003ca href=\"http://bit.ly/quaesita_slkid\"\u003e模型\u003c/a\u003e成功地将两只猫分开了，并且达到了100%的训练准确率。\u003c/center\u003e\n\u003cbr\u003e\n这些图像中共有两只猫，并且模型成功地返回了他们的标签。这意味着我成功地建立了一个Tesla和Huxley分类器，对吗？\n\u003ch3\u003e我们的想法欺骗了我们\u003c/h3\u003e\n\u003cp\u003e还没这么快！其实我们的期望欺骗了我们！仔细观察这些图片，你会发现，在所有Tesla的图片背景中都有散热器，而Huxley的则没有。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c01138eda3f2.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：这个系统其实不是一个猫咪检测器。由于\u003ca href=\"http://bit.ly/conf_bias\"\u003e确认偏差\u003c/a\u003e的存在，我选择性地注意到了我喜欢的结果，而并没有注意到实际上我设计的系统是一个\u003ca href=\"http://bit.ly/radiatordetector\"\u003e散热器检测器\u003c/a\u003e\u003c/center\u003e\n\u003ch3\u003e猫咪检测器还是散热器检测器？\u003c/h3\u003e\n\u003cp\u003e很不幸，实验结果表明，这的确是一个散热器检测器。使用新样本进行测试可能会有所帮助，所以让我们看看是否以这种方式解决问题……\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c01138f7970d.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：事实证明，使用来自同一数据集的更多样本对于解决问题并没有太大帮助。\u003c/center\u003e\n\u003cbr\u003e\n\u003cp\u003e即使我使用新数据（这些新图片）来测试它，也不会有太多的错误，所以我们的分类器到底有问题吗？\u003c/p\u003e\n\u003cp\u003e假设Tesla总是和散热器一起而Huxley总是不和散热器一起，那么谁会在乎它是如何工作的？它总能奏效。它每次都会给出合适的分类，如果是这样就没有问题了。\u003c/p\u003e\n\u003cp\u003e但这真的是一个很大的假设。如果猫搬到另一间公寓了会怎样？如果你直接使用我的分类器对你的图片进行分类会怎样？\u003c/p\u003e\n\u003cp\u003e在这些情况下，返回的标签将是“Huxley”，依赖了我的检测器的任意一个关键任务系统都会发生崩溃。\u003c/p\u003e\n\u003ch3\u003e这到底是谁的错？\u003c/h3\u003e\n\u003cp\u003e让我们先分析一下：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e将像素转换为标签的方法太过复杂，搞得我一头雾水。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e我观察到的只是输入（像素）和输出（Hux / Tes标签）。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e因为我是人，我没有注意到眼皮底下的一些细节（散热器和Tes总是一起出现）。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e我告诉自己关于输入如何与输出相关的故事不仅被简化了，而且还一厢情愿地偏离了对散热器的解释。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e只要我确信过它确实有效，就不必理解它的工作原理的。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e检查它是否有效的方法是评估它如何处理以前没有见过的一组相关样本。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e到现在为止还挺好，实际上还没有什么问题。你相信很多东西，却不知道它们是如何起作用的，例如我们许多人因为头痛而服用\u003ca href=\"https://bjaed.org/article/S1743-1816%2817%2930088-4/fulltext\"\u003e扑热息痛\u003c/a\u003e。它的确有效，\u003ca href=\"https://bjaed.org/article/S1743-1816%2817%2930088-4/fulltext\"\u003e但科学也无法解释为什么\u003c/a\u003e。重要的是，你可以验证扑热息痛确实有效。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c01139000301.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e 图：不知道这种流行了100多年的药物在分子水平上如何起作用？科学也不知道。\u003c/center\u003e\n\u003cbr\u003e\n把复杂的AI系统想成头痛治疗一样。只有确保它们有效，你就会没事。那么是不是这个系统就没有问题了？\n\u003cp\u003e\u003cstrong\u003e可惜的是，我检查了一些样本，这些样本与我希望系统使用的样本不同。\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e这一次，它出了大问题。只要我们使用适当的样本适当地测试系统，其他就不会有问题。所以答案是：\u003cstrong\u003e这是我的人为错误\u003c/strong\u003e。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c0114137459b.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：如果针对一个任务测试了该系统，然后将其用于其他任务，你期望得到怎样的结果呢？\u003c/center\u003e\n\u003cbr\u003e\n如果教学的时候我不按考点来教学生，那么他们考试成绩很差不应该是理所当然的吗？如果我的所有样本都来自Tes和散热器总是在一起的世界，那么我只能期望我的分类器只能在那个世界中是有效的。当我把它移到另一个世界，就等于把它放在一个不属于它的地方。应用程序最好是低风险的，因为“我不知道它在超出预设时就不奏效”这样的借口是不存在的。如果你以前不明白，那么现在应该知道了吧。\n\u003cp\u003e这就是为什么从一开始就要考虑到你的\u003ca href=\"http://bit.ly/quaesita_dmguide\"\u003e目标和用户\u003c/a\u003e，这点很重要。开始之前一定要指定规格和设置。\u003ca href=\"http://bit.ly/quaesita_first\"\u003e负\u003c/a\u003e起一个成年人的责任，否则你只能开发一些玩具一样的应用程序。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c011413346fe.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e 图：在涉及更大的事情时，不要只是在不相关的数据集上抛出很酷的流行语。\u003c/center\u003e\n\u003cbr\u003e\n如果没有熟练和负责任的领导力，我希望你的应用程序永远不要涉及任何人的健康、安全、尊严或未来的事情......\n\u003ch3\u003e是常识，不是魔术\u003c/h3\u003e\n\u003cp\u003e我一直在使用“样本”这个词而不是“数据”（实际上它们是同样的东西）来提醒你这不是魔术。 \u003ca href=\"http://bit.ly/quaesita_simplest\"\u003eML / AI的要点是，你使用样本而不是描\u003c/a\u003e\u003ca href=\"http://bit.ly/quaesita_simplest\"\u003e述来\u003c/a\u003e\u003ca href=\"http://bit.ly/quaesita_simplest\"\u003e表达你所期望的结果\u003c/a\u003e 。为了使它起作用，这些样本必须是相关的。并且，任务越复杂，你所需要的样本就越多。你每天都使用样本进行交流，因此你已经知道了这些内容。也许你想知道数学是否表达了不一样的东西，实际上它没有。请放心，常识是你最好的算法。\u003c/p\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c011413cd31b.png\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003ccenter\u003e图：如果你想用样本进行教学，那么这些样本必须是好样本。如果你想要信任你的学生，那么测验必须是好测验。\u003c/center\u003e\n\u003cbr\u003e\n### 盲目的信任是一件可怕的事情\n\u003cp\u003e在你规定的条件之外，你对系统的安全性一无所知，因此请注意：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e如果你没有测试它，不要相信它。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e如果你没有在【环境】中测试它，请不要相信它在【环境】中的结果。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e如果你没有使用【用户群】进行测试，请不要相信【用户群】使用它得到的结果。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e如果你没有使用【数据组】进行测试，请不要相信系统在【数据组】上的结果。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e如果输入异常，请不要相信你的系统输出是合理的。考虑使用异常值检测和安全网。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e如果你使用的工具尚未经过测试，那么你的工具导致的错误应该算到你头上。A也只是一种工具而已。\u003c/p\u003e\n\u003cp\u003e查看原文：\u003ca href=\"https://towardsdatascience.com/dont-trust-ai-10a7df520925\"\u003ehttps://towardsdatascience.com/dont-trust-ai-10a7df520925\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e\u003ca href=\"http://t.cn/E28YBT9\"\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5bfb929ec522e.png\" alt=\"image\" /\u003e\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e链接：\u003ca href=\"http://t.cn/E28YBT9\"\u003ehttp://t.cn/E28YBT9\u003c/a\u003e\u003c/p\u003e\n