AI Debate2 | 李飞飞提「AI北极星」，卡尼曼指「系统 1」理解有误
智源导读：美东时间 12 月 23 日，由 Gary Marcus 主持的 AI Debate 再次召开，主题为“推动 AI 前进：跨学科方法” （Moving AI forward: an interdisplinary approach）。
犹记得去年 Gary 与 Yoshua Bengio 针对深度学习能否实现通用人工智能的激烈辩论。在本届 AI Debate 中，Bengio 没来，却换来了 16 位业内知名大咖，包括Judea Pearl、李飞飞、Daniel Kahneman、Ken Stanley等人。
作者：李梦佳 贾伟
本届 AI Debate 共持续三个小时，包括三个panel，分别为
Panel 1: "Architecture and Challenges"
Yejin Choi, Luis Lamb, Fei-Fei Li, Robert Ness, Judea Pearl, Ken Stanley and Rich Sutton
Panel 2: "Insights from Neuroscience and Psychology"
Danny Kahneman, Christof Koch, Adam Marblestone, Doris Tsao and Barbara Tversky
Panel 3: "Towards AI we Can Trust"
Ryan Calo, Celeste Kidd, Margaret Mitchell and Francesca Rossi
智源社区从 16 个学者分享中选取其中 4 位的观点进行分享，颇具启发。如下：
李飞飞：下一个AI的北极星在与真实世界的互动
Judea Pearl：干草堆里寻针，需要先见过针
Daniel Kahneman：AI 界对系统一和系统二的误解
Ken Stanley：看10亿年生物进化因果链，我们忽视了很多维度
话外——先介绍一下Marcus的开场白
Marcus一开场先回顾了去年和Bengio的激烈辩论。他指出，上个十年要讨论的核心是“大数据和深度学习是否可以最终实现通用人工智能”。
Marcus提到，相关讨论2012年就已经开始了。2018年，Marcus发表了Deep learning: a critical appraisal，历数了为什么深度学习不能实现通用人工智能的几大原因，当时引来了很多争议。
今年，GPT-3的大热又引来了新一波的争议。Hinton 10月发表观点称，「深度学习无所不能。」两种观点一直针锋相对。
Marcus表示，在2020年的末尾，两种观点却出现了前所未见的融合（convergence），似乎原本站在 Hinton 阵营的 Yann LeCun 近日发表文章称，「有些人一直以来对GPT-3能够做什么抱有不切实际的幻想。」「想要通过扩展语言模型来打造智能机器，就好比要造一架能上月球的飞机。」
抵达通用人工智能似乎为时尚早。Marcus 指出，下一个十年，我们要讨论的问题就是，如何让AI步入下一个新台阶。
01
李飞飞：下一个AI的北极星在与真实世界的互动
李飞飞作为 AI 领域最为知名的华人女科学家之一，凭借ImageNet的工作触发了新一代人工智能的浪潮，也成为众多学子心中的偶像。在本次报告中，李飞飞提出两个概念：（1）下一个AI的北极星是什么？（2）与真实世界进行互动，是人工智能下一个重要的研究问题。
李飞飞：作为科学家，最吸引我的是，能够不断去拓宽人类知识的边界，不断问新的问题，并且发明工具来解决这些问题。我最喜欢引用爱因斯坦曾说的一句话：“问题提出本身通常比解决问题要重要的多”。那么在AI领域重要的问题是什么？在这里我把这样的问题称为“AI 北极星”（AI North Star）。
在20世纪最后的三十年中，对于人工智能最为重要的“AI北极星”是人类智能，特别是视觉智能中的物体识别。而21世纪头十年的“AI北极星”则是图像分类，ImageNet作为基准，促进了人们指向“AI北极星”，从而引发了深度学习的革命。
那么现在，站在另一个新时代的起点，我们不禁要问“下一个AI北极星是什么？”（What is the next AI North Star?）
对这一问题，答案肯定不止一条。但就我自己来说，下一个令人激动的“AI北极星”应该是：AI在真实世界中积极地感知和互动。
我的这一观点主要受两本畅销书的启发。
一本是由动物学家 Andrew Parker 所写的《In The Blink Of An Eye》，他提出“寒武纪的爆炸是由突然进化出来的视觉引发的，正是视觉的出现引发了一场进化的竞赛，在这场竞赛中动物要么进化、要么死亡。”
另一本则是由哲学家Peter Godfrey-Smith所著的《Other Mind》，在这本书中，他认为“神经系统最原始和最基本的功能就是将感知与行动联系起来。”
当下，AI已经拥有了视觉，那么接下来在真实环境中感知与行动之间不断循环互动，将引发人工智能的新一轮进化。
我在这里分享一个实验。这个实验室由Held 和Hein在1963年做的关于两只新出生小猫的实验，如下图所示，其中一只可以主动探索外部世界（注：在笼子中走动，来观察周围环境），另一只则是被动来看外部世界（注：不能行动，由另一只小猫的运动带动杠杆，从而观察周围环境）。世界结果表明，数周之后两个小猫的神经系统有巨大的差异，被动组的小猫不能发展具备完整功能的感知系统，而主动组的小猫则可以。
综上所述，在我看来 AI 下一个最为激动人心的“北极星”正是：来自对世界积极的感知和互动。在这种感知和互动之间存在一个至关重要的循环，这个循环驱动了学习、理解、推理和计划等能力。对于我们的 AI 智能体，可探索的环境包括多模型、多任务、生成以及社交等。我们目前正在研究以及构建这种具备互动学习能力的智能体，这些智能体使用感知和驱动来学习和理解世界。
02
Judea Pearl：干草堆里寻针，需要先见过针
Judea Pearl（朱迪亚·珀尔），加州大学洛杉矶分校（UCLA）教授，图灵奖（Turing Award）得主。他在 20 世纪 80 年代开发并倡导了AI 的概率方法，被称为贝叶斯网络之父。然而为了强人工智能的愿景，Pearl 脱离主流 AI 研究社区，提出了一套因果的数学语言和理论，引领了正在席卷各个学科的”因果革命“。
他表示“如今，我们正坐在一座金矿上，但这座金矿封存在深度学习的世界当中。”因此他提出了一种因果革命的引擎，即深度理解的计算模型。他认为深度理解将是唯一能够回答“What is”、“What if”以及“If only”的路径。
由于时间较短，Pearl的许多观点没有得到充分地阐释，我们结合Pearl之前在智源大会的内容，对其核心观点作以介绍。
1、反对数据文化，应当加入知识
Pearl在报告中提到，他非常反对仅仅依赖数据的文化，这只是一种数学的操作。举例一个统计学中的经典例子来说：“锻炼身体是否有利于健康？”
x轴表示运动时间，y轴表示胆固醇水平。一方面，在图（左）中，可以看大每个年龄组中都出现了向下的趋势，表明运动可能的确有降低人体胆固醇水平的效果；另一方面，在图（右）中，同样的散点图并不依据年龄对数据进行分层，那么我们就会看到一个明显向上的趋势，这表明运动得越多，人体胆固醇水平就越高，这种矛盾在统计学中被成为辛普森悖论。
这个例子说明了数据可能对你讲出两个不同的故事。如果信息发生一些变化，得到的结论就可能是不一样的。
他提出“从干草堆里找针，前提是你得见过针是什么样子的。”
2、我们正坐在一个金矿上，但金矿却被封印在深度学习的世界里
Pearl在报告中提到，“最近，我意识到我们正坐在一座金矿上面，但是这个金矿却被封印在深度学习的世界里。”
Pearl 提出了一套基于结构的关于因果的数学语言和理论，作为因果科学是回答因果问题的推理引擎，他称之为“深度理解”。该引擎的特点是 “Knowledge in, Knowledge out, Data in between”。
深度理解能够执行三个功能：描述（“What is”）、预测（“What if”）以及反事实预测（“If only”）。
03
Daniel Kahneman：AI 界对系统一和系统二的误解
Daniel Kahneman是一位以色列裔美国心理学家，曾获得2002年诺贝尔经济学奖，但对于 AI 圈的人士，最为熟悉的则莫过于他的畅销书《思考，快与慢》，其中的 系统一 和 系统二 的概念成为了许多 AI 研究人员理解 AI 发展的底层框架。但在这次的 AI Debate 中，Daniel 却表示，AI 领域的学者或许误解了他对两个系统的描述。
Daniel Kahneman：在这里我想讲一些更“有野心”的事情。大家都认为我应该认同 系统一 和 系统二 的观点（尽管这并不是我的想法），因为我确实写过这么一本书来介绍这个概念。我们谈论 系统一 和 系统二 的时候，会认为前者是一种工作速度较快的系统，而作为对比，后者工作速度则相对较慢。
但事实上，正如我在书中所描述的，系统一 和 系统二 的最主要区别并不在此，而是一个只是发生在你身上，而另一个需要你去做更高水平的处理。语言、想法、情绪等都发生在你的身上，但这些都不需要做额外的处理。我们应当这样理解，任何可以自动完成的事情，任何只是发生在我身上的事情，都隶属于系统一。
心理学家们认同的 系统一 和 系统二的另一个区别是，在操作层面上，系统一 是并行操作，而系统二是串行操作。
我的一个感觉是，两种体系的想法已经被太多人接受了，所以我今天想重点强调一下其中的误解。
在人工智能中，人们似乎将两种体系与符号/非符号联系在了一起。系统一是非符号，系统二是符号。当我去看机器学习的时候，也有类似的感觉，机器学习的黑箱似乎能够神奇且快速地产生非常复杂的反应。但事实上，这种系统一 - 非符号/系统二 - 符号的映射并不是那么准确。
的确，我们描述为非符号的任何事物、任何活动，都属于系统一；但是系统一并不能被描述为非符号系统。
系统一事实上更为复杂和丰富，它能够对世界进行表征，这种表征代表了对世界的模拟。我们也是依赖系统一对世界的表征进行生存。大多数时候，我们处于所谓的“Valley of normal”（正常谷）。大多数发生在我们身上的事情，并不会让我们感到惊讶，但也不会让我预料到我接下来想要说什么。
我们处在正常谷里，我们并没有期待，系统一接受许多事件的发生，认为这些事件只不过是已发生事件的正常延续。但它也会拒绝一部分事情，这些正是那些让我们觉得吃惊的事情。因此，系统一能够把这些“非正常”的事情与正常的事情区分开来。
前面Pearl提到的反事实推理，许多都是发生在系统一中。因此，常识和因果关系出现在系统一当中，而非系统二。
这是我想要重点澄清的。我真的很高兴能够在 AI 领域听到这两个概念，但我不确定它们是不是被正确地使用了。
04
Ken Stanley：看10亿年因果链，我们忽视了很多维度
Kenneth Stanley是Open AI的研究员。他此前和Marcus共同创立了一家叫做几何智能（geometric intelligence）的公司，后被Uber收购。Ken 在报告中的观点是，我们常常说受启于人类智能，但往往却忽视产生人类智能的前提——数亿年的生物进化。如果把眼光放得长远一些，我们会发现，在考虑智能体系的构建时，我们忽视了许多应该考虑的维度。
Ken Stanley：众所周知，当下的人工智能可以解决各类问题。但是我们人类能够做的事情却仍然是独特的，原因在于我们拥有“开放式的创新”——在几千年人类文明中我们冒出了无穷无尽的想法，从火和轮子这样的小东西，到计算机、空间站这样的庞然事物。
这个复杂性大爆发的过程，源于我们所谓的开放式创新（Open-ended Innovation）。这是人类特有的能力，现在的算法相对来说，则相去甚远。
这种开放式创新的现象并非只是人类诞生之后才出现；事实上，我们人类本身也是一个开放式创新系统的产物，这个系统便是：自然进化。
站在更为长远的历史的角度，去看智能的诞生，这是一个完全不同的因果链。在数 10 亿年的发展进程中，正是这个庞大的系统（注：进化系统）发明创造了所有活着的自然生物，它发明了诸如光合作用、会飞的鸟，甚至具有高级智力的人类。从已有的人类经验来看，这也是唯一一个能够产生真正具有人类智慧的系统。
在这个系统基础上，当我们人类开始在宇宙中存在，凭借着人类这样一个“开放式创新系统”，便孕育出了人类文明，包括数千年的知识、科学、艺术等所有的发明创造，正如前面所说，从火和轮子，到计算机、空间站，以及人工智能等等，相继涌现。
所以，在这个简短的报告中我想要表达的是，我们应该试着去理解这种现象。这不仅仅是对我们人类为什么存在的解释，更是因为它先于我们，创造了我们，也根深蒂固地存在于我们的本性之中。
当我们去关注这种“开放式创新”的现象，就会发现此前我们大家会忽视的一些智能维度。例如：发散性（Divergence），这与目前我们偏爱的算法收敛恰恰相反；种群性（Populations），所谓不把所有鸡蛋放在一个篮子里，种群中大量存在的个体才有进化的可能；多样性保护（Diversity Preservation）；跳板收集（Stepping Stone Collection）等。
实际上我们并不了解，究竟宇宙的什么特性促成了源源不断的超过10亿年的创造力，而人类目前创造的任何人工系统都没有这个属性。
从这个角度讲我们可以暂时把算法放在一边，去从系统层面上探究一下问题所在。这是一个丰富的研究领域，还亟待挖掘，目前在这个领域的研究还只是冰山一角。
05
Q&A：神经网络的进化
Marcus：我有个问题要问Ken 和飞飞。你们都提到了进化论，尤其是神经网络的进化。现在这个领域（神经进化）的现状如何？我们有了大量的计算资源，这会成为下一个十年的重点吗？
Ken Stanley：自然界中的进化属性是如此的强大，而且还没有得到算法方面的解释，因为我们不能创造出自然界中已经创造出来的现象。但这些是我们应该继续追寻和理解的属性。这些属性不仅存在于进化中，也存在于我们自身之中。
在我们自己的创新历史和进化史之间存在一种平行。从这个意义上说，我认为我们将继续追求这类进化算法，并且将它们与其他算法混合，包括学习算法。因为毕竟，这就是我们生活的世界，有一个进化的外环和学习的内环组合而成的闭环。
李飞飞：对我来说，进化是智能出现过程中最伟大的实验环境之一。但对于遵循进化的环境或者是生物方面的限制，我不是教条主义者。作为一个科学家，我仍然坚持这样的梦想: 将会有一套统一的智能原则，这些原则已经指导了一定数量动物智能的出现，也将赋予机器智能。进化论是我们所见过的最伟大的实验之一，它给了我们如此多的灵感。
点击左下角“阅读原文”，了解更多！