对话前 OpenAI 科学家 Joel Lehman：伟大始于无数踏脚石 | 新程序员
作者 | 曾浩辰、唐小引
出品 | 《新程序员》编辑部
OpenAI 的「宫斗政变」以微软 CEO 纳德拉官宣“Sam Altman 和 Greg Brockman 及其同事将加入 Microsoft，领导一个新的高级 AI 研究团队”而暂时落幕。
当 OpenAI 创始人 Sam Altman 在 OpenAI DevDay 上举起手机分享更新时，下面的这张对比图在网络上广泛流传，许多人开始将其类比为 AI 时代的乔布斯。而在其后于 11 月 18 日凌晨开始上演的 OpenAI 宫斗变局更是让许多人直呼 Sam Altman 是拿了光速体验乔布斯的剧本。
OpenAI 的分裂许多人将其归因于有效加速主义以及超级“爱”对齐的深层矛盾，即：
-
有效加速主义者：人类应该无条件地加速技术创新，并快速推出它们，来颠覆社会结构吗？
-
超级「爱」对齐主义者：AI 有对人类真正的爱。OpenAI 联合创始人 Ilya Sutskever 在不久前的采访中表示，「ChatGPT 可能有了意识」。
这确确实实是全球关注人工智能发展的人们最为关心的问题。
为什么 OpenAI 能够成功？
为什么 OpenAI 又走向分裂？
去年 11 月，ChatGPT 横空出世横扫一切，这个 11 月，OpenAI 迎来了新的变局节点。在这特别的时刻，CSDN《新程序员》特约编辑、华盛顿大学机器人创新研究生曾浩辰代表开发者对前 OpenAI 科学家 Joel Lehman 博士进行了深入的采访。从中可以一窥 OpenAI 成功的秘诀及其分裂之源。
CSDN《新程序员》对话 Joel Lehman
首先，Lehman 博士揭秘了 OpenAI 的成功来自于无数次的尝试，无数的“踏脚石”。
他与导师、前 OpenAI 的两位科学家 Kenneth Stanley 的著作《为什么伟大不能被计划》（Why Greatness Cannot Be Planned: The Myth of the Objective）英文版于 2015 年面世，而后其中文版于 2023 年在国内上市，也因 ChatGPT 的横空出世、OpenAI 的异军突起而颇为风靡。当我们沉浸于百模大战酣战之时，这本书可以给我们一个很好的提醒 —— 目标会误导你，越是伟大的目标，越容易有欺骗性。许多情况下，没有目标会比有更容易实现目标。
在书中，他们为探索研究指明了一个新的道路：与其直奔目标低头奋战，不如尝试不同策略和选择，寻找不同的“踏脚石”，这样反而能在机缘巧合中寻找到新方案，从而解决问题。
我将其理解为，「凡是过往皆为序章」，有结果的就成为“伟大”，没有结果或失败的就成为未来“伟大”的“踏脚石”。
同时，很显然在当前的人工智能领域，安全伦理是国内外广泛关注的话题。这也是 OpenAI 核心四人组分道扬镳的关键症结。当 OpenAI 逐渐被业界冠以「CloseAI」的称呼，GPT-5 传闻有了巨大突破之时，我们充满着对 AI 未来、「AI 到底是数字生命还是工具」的担忧。
2023 年 3 月，包括马斯克、Stuart Russell 等数千名人工智能领域的重要人物签署联名公开信呼吁暂停 GPT 训练，以避免潜在的伦理风险。尽管彼时 Sam Altman 并不在其中，也未停止 GPT 进一步的演进，但在多个场合，他都分享了自己对于 AI 风险的担忧。而于 2023 年 5 月，Sam Altman 与 Geoffrey Hinton 等 350 位 AI 权威签署联名公开信，这封信只有一句声明——「降低人工智能带来的灭绝风险，应该与其它社会规模的风险（如大流行病和核战争）一样，成为全球的优先事项。」
在 Lehman 博士看来，我们需要对人工智能的发展进行监管和思考，以确保其对人类社会的长远利益和道德价值的积极影响。在采访中他提到，人工智能的发展必须与人类的需求和价值一致，不能忽略伦理和道德问题。由此，他对人工智能情感和人际关系等方面进行了深入的探索与研究。
伟大始于无数的踏脚石
在《为什么伟大不能被计划》一书中，伟大始于踏脚石的例子不胜枚举。比如，世界上第一台计算机是用真空电子管制造的，然而，真空管的历史，与计算机毫无关系，哪怕是爱迪生等发明家，也只是将其用于研究电学。直至数十年之后，当 ENIAC（世界上第一台电子计算机）最终被发明出来时，科学家们才第一次意识到，真空管可以用来制造计算机。
微波技术最初也并不是为微波炉专门发明的，而是被用于驱动雷达的磁控管部件。直到 1946 年，Percy Spencer（微波炉发明者）注意到磁控管融化了他口袋里的一块巧克力，人们这才明白，微波技术是发明微波炉的踏脚石。
伟大的创新具有着太多虽迟但到的启示，以及极强的偶然性，甚至于起初并未成为任何人的目标。一如万维钢所言，纵观所有的科技、发明历史，你会发现伟大的创造几乎都是由一些谁也想不到的人，在谁也没计划的领域中做出来的。比尔·盖茨因和极客打游戏的需求普及了个人电脑；硅谷的一个车库里诞生了谷歌；埃隆·马斯克起家是在网络支付领域，最后却推出了 SpaceX 和特斯拉。
《新程序员》：是什么启发了你与 Kenneth 一起去探索“为什么伟大不能被计划”？
Joel Lehman：创新经常以我们未曾预期的方式发生。我们通常认为创新是设定一个宏伟目标，比如发明下一个重大应用程序或技术，然后全力以赴、优化路径以达成这一目标。但当我们回顾科技史和成功公司的发展时，我们会发现一个不同的模式。这种模式同样适用于生物进化，乃至于计算机的搜索算法。
我们看到的是，为了达到某个意想不到或出人意料的伟大成就，往往需要进行广泛多样的探索。这需要发散性思维，需要许多人以不同的方式思考。这样，你可能会通过偶然的机缘，达到一个从未预期的地方。这种探索就像是‘蓝天研究’（Blue Skies Research，指以进一步加深我们对科学的理解为驱动力的研究，不一定考虑具体的现实应用），更倾向于追求真正有趣的事物，而非那些看似有限但有希望的方向。
探索与踏脚石（图源：AIGC 生成）
《新程序员》：在书中，“踏脚石”是一种指导复杂系统进化的方法，我们可以如何有效识别和利用这些踏脚石，在你的现实生活中有这类例子吗？
Joel Lehman：在寻求优化和达成特定目标的过程中，我们通常会有一个清晰的方向。比如，要使公司盈利，我们会寻找利润持续增长的信号，这看似是一个可靠的指引。但有时，为了真正进行探索和发现全新且激动人心的事物，单纯依赖这样的指南针可能会让我们误入歧途。有时，我们需要放弃对目标接近程度的衡量，转而关注不同类型的信息。
我们需要的是更广泛的探索。踏脚石的概念指的是，在我们的环境中，有一些可靠且可接近的事物可能会引领我们发现新事物。比如一个新的软件库，这个库能够成为进一步开发新库和产品的踏脚石。这些踏脚石可能是为了自己的目的而创建的，但也可能被别人用于其他目的。事物因此可以向外扩展，我们可以通过这种方式发现更多的东西。
“踏脚石”很常见。许多人在自己的生活中都有类似的经历：我们做出了一个选择。当我去研究生院与我的合著者 Kenneth 一起工作时，我并不知道几年后我会写一本关于创新的书。我当时只是一个计算机的研究生。我们没有准确规划出每一步，而是灵活地寻找踏脚石，并随着机会而改变我们的路径。
在开源世界中，当有人复制你的项目时，他们可能会以一种你未曾预料的方式去做，从而创造出新事物。这些新事物又可能启发其他人创造出更多新事物。从我们个人生活中如何意外地发现踏脚石，到从全球视角看创新如何发生。我们可以看到创新并不总是一条直线，而是通过人们的贡献、机缘巧合和对踏脚石的利用，使得其他人能够实现意想不到的伟大成就。
OpenAI 的成功始于无数的尝试
OpenAI 的成功也有着极强的“踏脚石”的属性，2022 年，Joel 所率领的研究团队发表了一篇“神奇”的论文，首度揭秘了 OpenAI 的一项研究：大模型自己学习、自己写代码，然后自己“调教”出了一个智能体机器人。然而在 Joel 看来，“我没有预料到 ChatGPT 会产生如此巨大的影响。”
《新程序员》：你提到了探索的重要性以及机缘巧合在实现伟大成就过程中的作用，你认为机缘巧合是必然性还是偶然性？
Joel Lehman：机缘巧合是一个非常有趣的概念，但很多人误解它为纯粹的随机事件。Louis Pasteur（第一个创造狂犬病和炭疽病疫苗的科学家）说过“机遇总偏爱有准备的头脑。”这句话捕捉到了机缘巧合可以通过好奇心和专业知识来鼓励和实现的真谛。即使在执行某项任务时，保持好奇心也可以鼓励机缘巧合的发生。
以 Alexander Fleming（亚历山大·弗莱明）发现青霉素为例，这是科学史上的一个例子。Fleming 在进行实验时，他的一个培养细菌的培养皿意外被真菌入侵，结果真菌在周围形成了一个阻止细菌生长的圆圈。一些人可能会因为过于专注于原始实验而忽视这个现象，但 Fleming 却因好奇心和专业知识认识到了这种异常现象的重要性。这种意识和专业知识的结合导致了青霉素的发现，拯救了无数生命。
这并不是由某个随机的人完成的。我们需要培养识别和利用机缘巧合的技能。例如，作为一名研究生，你周围的人应该鼓励你培养发现奇怪现象并对其保持开放态度的能力。虽然这些发现部分上依赖于偶然，但它们并非完全是偶然事件。
《新程序员》：从 2015 年《伟大》面世至今，人工智能有着诸多重要的演进（经历了最具爆发性的 AlphaGo 和 ChatGPT），你对 AI 研究的思考有什么变化吗？
Joel Lehman：人工智能领域已经取得了一些重大进展，这是非常疯狂的变化。我在博士研究中涉及的神经网络比起今天的大规模网络要小得多，只有 10 到 12 个神经元。但我认为可以将许多导致现代人工智能革命的发现视为一种缩放假设，即不断增加网络节点和性能的提升。
OpenAI 在这方面有点先见之明，他们押注在这种看似疯狂的想法上。很多支撑这一变革的技术曾在多年前就存在，但却默默无闻。例如，Transformer 有着不同的注意力机制的发展历史，多年来研究人员一直在探索。虽然 OpenAI 可能是最著名的利用 Transformer 的公司，但实际上这项技术是在谷歌开发的。没有人真正采纳它并做出大量改进。OpenAI 在到达这个特定方向之前做了很多不同的尝试，包括早期的强化学习和机器人臂等探索。
人工智能的边界与伦理的思考
领略到AI的成功自由探索和迅猛演进之后，我们开始思考，应该怎样与这些先进工具相处，AI会如何塑造我们的日常生活。Joel Lehman 对于人工智能在情感和人际关系方面潜力的探索有着深入的兴趣和研究；他通过论文《机器之爱》探索验证技术不仅仅是冷冰冰的算法和数据集，还有可能成为我们情感世界的一部分。这引起我们的讨论：在追求技术创新的同时，我们如何确保这些进步和实践符合技术规范，更符合我们的伦理和道德期望，从而构建一个负责任的、以人为本的技术发展环境？
《新程序员》：你的论文《机器之爱》探索了机器体现「有用的爱」的概念的可能性，出发点是什么？
Joel Lehman：在过去十年左右的时间里，我们看到机器学习算法在社会上的各个方面（如社交媒体和推荐系统）都产生了大规模影响。这些系统通常会优化一些相对狭隘的目标（如用户参与度或点击率），这些数据虽有用，但对人类的理解却非常有限。
我想探讨构建一种新方向的可能。比如，如果 YouTube 或 Facebook“爱”你会是什么样？这听起来有点像一个理想化的观点，但关键在于，我们花了很多时间与不了解或不关心我们的系统互动。如果考虑将爱的概念（复杂且有争议的术语）应用于机器，会是怎样一种情况？
长期以来，我们很难想象如何优化定性的东西，但随着大模型的兴起，它们能够更深入地讨论语义上深刻的事物，甚至是心理学，它有可能创造出潜在的东西，帮助优化成为我们想成为的人。基于此，我们还进行了一些初步实验，展示了可以让机器学习算法体现一些原则，如关怀、尊重、责任或知识等。
AIGC 绘制拟人机器人
《新程序员》：这让我想起了《西部世界》中的角色桃乐丝，它探索了计算机体现爱和机器自我感受的概念。你认为在这方面需要解决的伦理因素是什么？计算机本身和它所传达的“爱”的能力，该如何平衡它与人类的关系？
Joel Lehman：我越来越关注所谓的“人工亲密关系”。例如，在像《西部世界》这样的电视剧或一些网站，允许你拥有像人工智能伴侣这样的关系，比如人工智能男女朋友，这让我感到担忧。因为我们已经面临着一场孤独病的流行，人们之间缺乏连接。这是悲哀的，因为我们拥有所有的社交媒体和计算技术，理论上可以帮助我们建立联系。但实际上，这些技术似乎使我们固守在自己的小圈子里，人们的朋友数量和对社会的信任感在下降。
我认为有很多方法可以合理地解决这一点，我更倾向于保持人与人之间关系的方向。人工智能不要阻止我们建立真正的人际关系，也不要让我们与系统建立人工关系，而是能够促进人与人的关系，让大家团结起来。
例如，当设计机器人时，我们是让它们成为人形并鼓励依恋，还是以一种强调它们是帮助我们的工具（而非情感依恋实体）的方式设计？这些决策极大地影响了我们与技术的互动方式及其伦理含义。关键是确保这些技术在体现机器之爱等概念时，最终应该服务于增强人类福祉和支持我们的成长，而不是取代或破坏我们的人际关系。
《新程序员》：人们现在和机器正在变得越来越亲密，计算机现在能拥有的精确数据肯定可以帮助我们做更多的事情。您认为这一概念将以何种方式实现或与其他新兴技术互动？
Joel Lehman：不同的技术提供了不同的可能性，但这其中也存在伦理风险。我希望能实现的是，这些技术能够积极地帮助我们，与我们想做的事情、想成为的人保持一致。这也包括其他如 VR/AR 或机器人的具体应用。例如，在设计机器人时，我们可以选择让它们不使用“我”这个词，提醒我们它们是为了服务人类和人类潜能而存在。这是一个非常微妙和复杂的问题，但我们的希望可能是有办法让人们了解技术，提醒技术是为了服务我们，而不是反过来。
推荐阅读：
▶突发！OpenAI“宫斗”再反转：Altman不回归，确定加入微软
▶Sam Altman或回归OpenAI，微软等正在调和；阿里辟谣“裁员2.5万人”；Vite 5.0正式发布 | 极客头条
▶在游戏开发中，如何平衡 GPT-3.5 和 GPT-4 的成本与性能？
