为何不能暂停AI研发？丨杨立昆吴恩达对话实录

北京时间4月8日凌晨0:30，Yann LeCun（杨立昆）和吴恩达针对近期甚嚣尘上的「AI暂停」一事进行了一场深入讨论，讨论主题为「为何为期6个月的AI暂停是完全错误的」。在这场风波中，二人都立场鲜明，明确表态反对暂停AI研发。汽车刚发明时没有安全带和交通信号灯，Yann LeCun认为，人工智能与先前的技术进步之间没有本质上的差异。智源社区对讨论核心观点进行了整理。

编辑：熊宇轩、李梦佳

吴（吴恩达）：在过去的 10、20、30 年间，我们见证了深度学习惊艳的效果。在近 1-2 年，人工智能系统进步的趋势甚至更快了，出现了 ChatGPT、Stable Diffusion、DALL·E 等系统。因此，一些人开始担心人工智能的公平性，以及它对社会经济、失业率的影响。还有一些人甚至担心通用人工智能（AGI）会产生邪恶的机器人。这些对现在和未来的担忧是真实存在的。为此，未来生命研究所（FLI）提出了一个暂停训练比 GPT-4 更强大的人工智能模型的公开信，Yoshua Bengio、Elon Musk 等名人都联名签署了这份提案。您能否分享一下自己的看法？

LeCun（杨立昆）：我的第一反应是——延缓研究和发展是一种腐朽倒退的思想。我们不应放缓知识和科学的进步。就产品而言，我支持监管产品，但我不认为监管研究和开发有什么意义，这反而会减少我们可以用来让技术更好、更安全的知识。

吴：如今的人工智能系统确实面临着为人们带来损害的风险，例如：偏见、公平性、过于集中的能力。这些都是客观存在的问题。然而，AI 也会创造巨大的价值！在过去十年、甚至数月间，大量的人工智能创意被用于教育、医疗等行业。即使我们如今有 GPT-4 这样好的模型，构建一个更好的模型会帮助这些应用更好的助人。中止这样的进步有害于创造这些对人类大有助益的工具。

LeCun：是的。我认为签署这封公开信的人可能有以下几个动机。极端地说，一些人会担心在某一时刻实现了 AGI，然后在短时间内消灭了人类。我认为很少有人真的相信这种情况，或者相信这是一个无法阻止的威胁。

还有一些人的思考较为合理，他们认为需要应对 AI 的潜在危害。我赞同这一点。AI 还存在很多问题，比如让 AI 系统可控，提供真实、无害的信息。但是这似乎有些缺乏想象力了，未来的人工智能系统不会按照「自回归」的方式设计。我们会产生一些新的想法，使系统更加可控。因此问题就变成了如何为系统设计与人类价值观、政策一致的目标。「人类有足够的智慧设计超级智能系统，而没有足够智慧设计好的目标的」概率是很低的。目前这些产品由少数公司在利润的驱使下生产，这些公司将会获得怎样的权力和影响力？会对人们的经济产生怎样的影响？是否存在内在的风险？我认为可以有适当的产品监管，但不应停止研发。

吴：近年来，AI 取得了巨大的进步，这十分有趣。但是现在的模型离完美还差得很远，它们仍然会造成混乱。目前人们对模型的指令有了巨大的进步，许多公司也转向了这一方向。着力「对人工智能的安全性及性能调整并对齐人工智能与人类意图」比全面暂停研发更加具有建设性。

我和你都反对对人工智能的炒作。在深度学习刚起步的时候，很多人对它具有不切实际的期望。坦白地说，我对自动驾驶也过于乐观了。我们现在都没有实现 L5 的自动驾驶。如今，「AI 末日论」认为人工智能可以逃脱并超越一切也是另一种炒作，这种炒作也是有害的。

LeCun：我赞同。如今，有了 ChatGPT、GPT-4 这样的模型，人们玩得不亦乐乎。这造成了一种印象，让我们以为已经距离具有人类水平的智能十分接近了。这是因为人类是以语言为导向的。我们认为能流利地给出答案就是智能的。但事实并非如此，这些系统完全通过文本训练，没有任何真实的经验，对于现实的理解十分肤浅。即使是 GPT-4 也很少利用图像训练。这也导致了它们有时会「一本正经地胡说八道」。

我们离人类水平的智能还很远，这并非炒作。人类的智能实际上是十分专门化的。毫无疑问，我们在未来的几十年间将拥有在人类具有智能的领域与人类达到同等水平或超越人类智能的系统。但并不会马上就实现。

直到我们设计出有机会达到人类智能的系统的蓝图，我们再讨论如何正确地保证它们是安全的。否则都为时过早。如果车都不存在，如何设计安全带？如果都没有发明飞机，怎么设计安全的喷气式引擎？这种对未来的恐慌是误导。

人工智能离人类水平的智能还很远，否则我们就不会还没有 L5 级自动驾驶了。而青年人学习 20 小时就会开车。即使我们有能够流利地给出语言答案的系统，但是这需要用数万亿单词来训练模型。如果一个人每天读 8 小时单词，都需要 22，000 年才能读完这些单词。这与我们观察到的人类智能大相径庭。我们认为很难的下象棋、写作文等事情对于机器又十分简单。而擦桌子、洗碗这样的事对于机器来说又很困难。

吴：是的。我们距离 AGI 还很远。这个公开信中所说的「AI 逃逸」等挑战似乎并不可行。但是，确实有些事是我们可以做的。例如，做更多更安全的人工智能研究，提高科研资金的透明度、改善审计制度，投入更多资金用于人工智能基础研究。但是，在实验室和国家试图建立先进技术、公司间充满商业竞争的环境中要求人工智能实验室放慢速度是不切实际的。因为这本身创造了很多价值。

LeCun：当我们谈论 GPT-4 和 ChatGPT，更多的是谈论其产品，而并非研发。OpenAI 有些从较为开放的 AI 研究实验室转向了为微软盈利。监管面向公众的产品是可以的，如果它们对公众带来危险，就应该干预。但是，不应该对技术研发进行监管。当一项新技术投入使用时，我们需要做的是确保积极的影响最大化，消极的影响最小化，但并不一定要阻止它。人工智能将放大人类智能，它将会是新的「文艺复兴」。这是一种新的启蒙运动，为什么要阻止它？

吴：在技术监管方面，我同意你的大部分看法。但是也存在一些例外，比如上世纪 60-70 年代，人们用猴子病毒研究 DNA，这些疾病有泄漏的风险，于是科学家通过会议叫停了这一研究，这是有益的。但是，相较之下，我们目前并没有看到人工智能逃逸的风险，实现广泛、智能的 AGI 还需要很久，这在几十年，甚至几百年的时间内都不一定会实现。 

LeCun：实际上，我 4 年前在《科学美国人》杂志上曾联合编写了一篇题为「不要害怕终结者」的文章。AI 系统想要主宰人类的情况是不切实际的，因为它们并没有这样的动机。只有社会化动物有这样的动机，而机器并没有此需求。我们可以设计机器的目标或让它们遵守一定的规则，让它们符合人类的最大利益。

此外，不仅公众会发现科技存在的问题，科技行业本身也在不断发现自己的问题并纠正它们。就社交网络而言，人工智能的进步使得更有效地删除仇恨言论之类的事情成为可能，这完全归功于大型语言模型。人工智能是解决方案的一部分，而不是问题所在。

吴：任何技术第一次出现时都不是完美的，实际可行的做法是以一种可以控制的方式，限制其危害，对其进行更好的监测，解决有害的用例。完全暂停研发进程似乎并不明智。

---

在 2023 年智源大会上，Yann LeCun将在开幕式分享主旨报告并与同行对话。敬请期待！（扫描下方二维码注册报名）

Q1：如何看待AI发展会带来危害这一观点？通过暂停试验能扼止这种危害吗？

LeCun：当然会有一些东西可能是小规模部署用于试验，并且可以识别出真正的危害。因为有两种危害，即潜在危害和真实危害，以及想象中的危害。如果存在真实危害， 你现在应该停止部署该产品。但是否意味着你应该禁止所有人工智能研究吗，当然不。在危害发生之前很难识别，但是当它发生在小范围内时，你会采取纠正措施，这就是技术史上发生的事情。举个例子，第一批汽车非常不安全，它们没有良好的刹车系统，也没有安全带，没有交通信号等等。而这些东西是逐步到位的，以使其更安全。航空业也是如此，最终你会有一个监管机构来确保这些产品是安全的，这就是它的运作方式。人工智能与之前的技术进步之间没有本质上的差异。

吴：在遗传病原体研究中，一旦病原体被释放，即使是世界上最强大的组织也无法关闭它，而今天政府可以通过立法，迫使公司关闭他们的服务。我们现在确实可以选择相对较快的方式将事情拒之门外。

Q2：如何解读很多顶尖专家签署了AI暂停公开信？（Yoshua Bengio也在其中）

LeCun：Yoshua 是我的老朋友了，我们上学时候就认识，那时他还在读硕士，我在读博士后。1980年代，人们对AI持有动机不同，看法也不同。我认为他是受那些人的鼓动才签署了这份文件。他认为，公司出于盈利的目的来主导技术发展会带来危险，他认为这本质上是不好的。而我不这么认为。我认为公司操控技术，本质上不一定是坏事。

他非常反对人工智能研发的保密。我同意他的看法，我是开放研究的坚定拥趸。但同样，我们这里不是在谈论研究，而是产品。开放研究应该持续下去。人们对OpenAI的不满，一部分源自于，他们在产品中使用的大部分想法实际上并非独创，有的源自谷歌、FAIR等等，但现在他们自己却封闭起来了。但这种封闭不会持续太久，我认为，在很短的时间内，会有许许多多相似功能的产品。OpenAI确实因为数据飞轮和大量的用户积累占了优势，但这种优势不会一直持续。

---

背景简述：暂停AI之争

伟大新技术的发明往往伴随着巨大的争议。2023 年 2 月-4 月，全球科技巨头争先恐后参与到ChatGPT 类产品和相关领域的激烈角逐中，改变着世界产业的格局。站在AGI时代来临前的黎明关口，由 MIT 物理系教授教授Max Tegmark、牛津大学哲学教授 Nick Bostrom 创办的非营利性组织生命未来研究所（Future of Life Institute）在他们的网站上贴出了一封公开信，信件内容为呼吁暂停至少6个月对下一代超级 AI 的研究。Elon Musk、Yoshua Bengio和Steve Wozniak（苹果联合创始人）、Emad Mostaque（Stability AI CEO）、Gary Marcus（纽约大学心理学教授）等学术权威和业界领袖也纷纷联名签署了这份公开信（链接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/）。

这封公开信一经发布便引起了人工智能学术界、产业界的轩然大波。人们关于 AI 未来的发展道路展开了激烈的争论。

Yoshua Bengio 发表长文指出我们需要放缓技术进步的速度，更好地了解目前的人工系统，在国家、国际层面上制定相关的规章制度，保护公众的利益不受损。

而他的好友Yann LeCun 则一直力挺继续研发更强大的人工智能，他认为：「机器智能是增强人类智能的一种方式，就像机械工具能增强人类的身体机能一样。在我们拥有可靠并能达到人类智能水平的AI系统的基础设计和演示用例之前，讨论它们的风险和安全机制的还为时过早」。

值得一提的是，OpenAI 的 CEO Sam Altman 也在近期的采访中在一定程度上表达了「AI可能会杀人」的隐忧，这和著名人工智能学者 Eliezer Yudkowsky 的观点不谋而合。

世界范围内的人工智能伦理与安全

「人工智能伦理与相关政策法规的制定」一直是经久不衰的话题。

控制论之父维纳在《人有人的用处》一书中提到「这些机器的趋势是要在所有层面上取代人类，而非只是用机器能源和力量取代人类的能源和力量。很显然，这种取代将对我们的生活产生深远影响」。而新千年以来，在《机械公敌》、《西部世界》、《终结者》等影视作品中，创作者们也在频繁表达着对于未来「人机共存」世界的畅想与人工智能对人类带来不利影响的隐忧。

在这一大背景下，世界各国纷纷出台相关政策法规规范人工智能、数据科学等领域的科学研究和工业生产。例如：欧盟于 2021 年 4 月提出了《人工智能法案》、中国于 2022 年「世界人工智能大会治理论坛」上发布《人工智能伦理建议书》、《人工智能与国际准则》、《人工智能治理与可持续发展实践白皮书》。2023 年初，联合国教科文组织呼吁各国尽快实施该组织通过的首份人工智能伦理问题全球性协议——《人工智能伦理问题建议书》，重点关切人工智能的不平等问题，保护个人数据权益、避免造成危害，并在危害发生时启动问责和补救机制。

人工智能技术的飞速发展不可避免地带来了人们对于新技术伦理、法律规范的探讨，而保持乐观的态度也许正是面对不确定性的最佳途径。正如本次对话最后吴恩达所说，不管怎样，应继续推动AI为所有人创造普世的价值。