ChatGPT背后：从0到1，OpenAI的创立之路
OneFlow编译
翻译｜杨婷、贾川、徐佳渝
ChatGPT一出，OpenAI名声大震，CEO Sam Altman也成为聚光灯下的C位主角，有些报道甚至开始了对他的“造神”运动。年少成名，他不到30岁就成为YC总裁，从2019年GPT-3开始，他开始主导OpenAI的运营事务，并取得了如今的非凡成就。
他擅长将企业发展从1放大到1000，但自OpenAI创立到GPT-2的发布期间，，还有更多的故事。
Greg Brockman是将OpenAI从0到1拉扯到大的关键先生。他是OpenAI的联合创始人，从2015年开始，Greg和首席科学家Ilya Sutskever主导OpenAI的创建，以及日常运营和研究工作。Greg现在也是OpenAI的董事长和总裁（2022年前一直担任CTO），从企业权力结构来看，他才是OpenAI背后的一号人物。
Greg有着非凡履历。2009年，他本科毕业于哈佛大学数学与计算机科学系，2010年在MIT计算机科学读博，期间维护XVM、Linerva和scripts.mit.edu等知名项目。毕业后成为互联网支付平台Stripe的CTO，帮助团队实现了员工人数从4人到250人的增长，不过在公司发展蒸蒸日上之际，他选择急流勇退，继续追逐伟大的事业，由此才有了OpenAI的创业历程。
OpenAI的诞生也源自一群非凡的投资人。众所周知，OpenAI起源于2015年门洛帕克的一顿晚饭上，那时大佬云集，在基于“构建安全的人工智能以造福人类”的愿景下，他们决定创建一个非营利性机构，并且最终获得了包括Greg Brockman和Sam Altman在内的马斯克、Jessica Livingston（Y C创始合伙人）、Peter Thiel（PayPal联合创始人）、Reid Hoffman（LinkedIn联合创始人）等企业家，以及亚马逊的AWS等知名企业和机构的十亿美元投资。
光有钱还不够，负责创建OpenAI团队的Greg还要找到能实现这一愿景的技术人才。ChatGPT大火之时，知乎上有个热议问题：阻碍国内团队研究ChatGPT这样产品的障碍是技术、钱还是领导力？
从技术上看，ChatGPT核心算法早就是公开的，没什么秘密，无论是互联网大厂还是融资上百亿的创业公司也不缺买算力和数据的资本。还有不少人反思说国内缺乏那种投资和创业的土壤。但最核心的是，我们缺乏OpenAI这样的团队以及其中极具远见和坚定信念的领导者，这些是使得一切愿景成为可能的必要条件。
通过搜寻人际网络，Greg希望邀请一批顶级人才组建队伍。这个网络上的节点人物很是惊人，包括深度学习领域“三巨头”Geoffrey Hinton、Yann LeCun、Yoshua Bengio等大牛，这些大牛又给他推荐了人工智能领域顶尖技术人才，包括机器人与强化学习领域大牛Pieter Abbeel、Andrej Karpathy（后来担任了一段时间特斯拉AI总监后，最近又回归OpenAI）、Ian Goodfellow（GAN网络发明者）、Wojciech Zaremba（Yann Lecun学生）等。当然，除了明星级人物，如果那时你参加线下会议，坐你旁边的人是Greg，他会主动跟你交流，觉得合适也会邀请你加入OpenAI。
Greg认为，团队的成功需要招募到对的人。尽管OpenAI成立不久，但经过他和Ilya Sutskever的共同努力，吸引了不少业内顶级大牛加入，而这更多依靠的是对OpenAI使命愿景的认同，以及与聪明人一起工作的环境。
最近，ChatGPT让国内不少精英再一次感受到落后的紧迫感，不少创业团队要打造“中国版的OpenAI”。我们不乏真正有抱负的创业者，但想象一下，如果在2015年已经有一支OpenAI团队，Sam Altman和Greg Brockman这群人很可能会去打造另一支不同于它的“DeepMind”团队，而不会称自己要去打造“硅谷版的OpenAI”，并且是为了复现ChatGPT。
在Greg Brockman主导OpenAI的最初两年里，2016年4月，OpenAI发布了强化学习研究平台“OpenAI Gym”的公测版，同年12月，发布了软件平台“Universe”，用于衡量和训练人工智能在全球游戏、网站和其他应用程序中的通用智能。
那一年，Alphago刚刚问世，新一轮AI黄金时代开启。与此同时，AI领域尚不存在大型语言模型（LLM）这个概念，刚刚成立两年的OpenAI也没有发布GPT模型，他们似乎只有模糊的想法，不过这个新组织每天都在为新技术探索而激动。
不管怎样，如果国内要打造这样一支团队，不妨听听当事者Greg Brockman是如何从零到一构建起一支原版的OpenAI，从其创业旅程中一窥他的组织构建思想，他如何聚拢了一大批才华横溢的顶尖人才，这个组织的创新能量又从何而来。
（以下内容由OneFlow编译，转载请联系OneFlow获得授权。原文：https://blog.gregbrockman.com/my-path-to-openai）
作者｜Greg Brockman
OneFlow编译 翻译｜徐佳渝、贾川
在高中毕业后的间隔年里，我曾认真学过编程。我读过图灵的《计算机器与智能》一书，并深受启发：代码能理解那些编写代码者所不能理解的东西。于是我准备着手写一个聊天机器人。那么写出来有多难呢？
我想创建的是能与人正常对话的机器人，但找了很久，似乎没有人能做出这种机器人。我很快便搁置了这个想法，转而专注于创建那些能真正产生影响的系统。
1
大学研究项目
读大学时，我对编程语言很感兴趣，由此便进入了AI的大门。编译器和静态分析器能“理解”那些我理解不了的程序，于是我便常用其来做一些非常有用的事情，比如快速生成代码并检验其是否正确。
我一直想潜下心来去做编程语言研究，却总是受到新的创业点子和新同事的影响。其实我的同事人都还不错，但这些创业想法可就不敢恭维了。无论在哈佛还是麻省理工，我都努力向那些优秀的人看齐，主动融入他们，并与之共建有用的东西。
Greg Brockman
大三那年，我发现在校创业没有意义，所以我就和那些创业者面谈，汲取经验。与此同时，我终于开始了编程语言研究之旅。我从一位教授那里获得了研究经费，并招募了一些朋友进行静态缓冲超时检测项目。
几周后，帕洛阿托（Palo Alto）一家尚未启动的初创公司联系了我。一般情况我会直接删除这种邮件，但此时我也正准备与初创公司会面，所以我们团队就立即点开了邮件，此时我也发现，他们也正是我一直在寻找的那种人。于是我离开学校，这也意味着我们的缓冲超时检测项目就此搁置了。
2
Stripe生涯
那家公司就是现在的Stripe。在我的帮助下，公司规模从4人扩大到了250人；在我离开后的一年里，又继续扩大到了450人（当然，这份功劳与我无关）。
此时公司的发展正蒸蒸日上，无论有我没我，都会继续继续做伟大的事情，所以我准备离开Stripe。我想做的是与优秀之人同行做些有意义的事情，但开发者基础架构并不是那个我想穷尽余生之力去解决的问题。
然而，我终于还是找到了那个我想解决的问题：创造出安全的人类级别的AI（human-level AI）。只要这项技术能真正为人类所用，我想一定会引起轰动，并给世界带来积极影响。
在我最终决定离职之前，Patrick说Sam Altman有很好的局外人视角，而且见过很多跟我情况类似的人，应该能给我一些好的建议，让我去和他谈谈。
在与Sam交谈五分钟后，他说：看来你是完全准备好离职了，后续事宜有什么需要我帮助的吗？
我说AI是我的首选（这绝对是我的人生目标），但还不确定现在是否就是做这件事的最佳时机，而且我也不知道最佳的贡献方式是什么。
他回答：我们一直在考虑通过YC（译者注：Y Combinator，美国著名创业孵化器）建立一个AI实验室，你或许可以跟我们合作。
3
研究深度学习
大约在这一两周后，我就离开了Stripe，开始着手深入研究AI，想要更好地了解该领域正在发生的事情。仅从Hacker News上的帖子（例如http://karpathy.github.io/2015/05/21/rnn-effectiveness/）就可以看出：人们对AI尤其是对深度学习的关注度越来越高。但在进入该领域时，我仍然是持有合理怀疑的，在投身AI之前，我想确定一切都是可行的。
我的第一个目标是弄清楚深度学习到底是什么。然而事实证明这并非易事。例如，deeplearning.net上只是说“深度学习是机器学习研究的一个新领域，引入深度学习的目的是使其更接近于最初的目标——人工智能”。虽然这听起来很令人兴奋，然而却并没有说清楚到底什么是深度学习。
幸运的是，我有一些从事AI行业的朋友：Dario Amodei（曾任OpenAI研究主管，现Anthropic创始人和CEO）和Chris Olah（曾任OpenAI技术主管，现为Anthropic联合创始人）。我向他们征求了一些意见，他们给了我一些很好的入门资源，其中最有用的是Michael Nielsen写的书。我读完后还在Kaggle上练习了新学到的技能（在第一次比赛时我就拿到了第一名！）。
一路走来，我不断遇到AI领域中那些超级聪明的人，并与我大学时最聪明的一些朋友重新建立了联系，例如现在在该领域工作的Paul Christiano（曾任OpenAI研究员，现Alignment Research Center创始人）和Jacob Steinhardt（加州伯克利分校助理教授）。我觉得这是一个强烈的信号。
我了解得越多，就越相信AI已准备好散发自己的光芒。深度学习的能力简直令人难以置信，比如，我们现在可以极其准确地对图像中的目标进行分类（2014年的XKCD就已经实现），语音识别非常精准，还可以生成十分逼真的图像。不过虽然这些技术足够新，但到现在为止还没有改变人们的生活方式，它们如今的影响还仅限于支持某些产品实现特定功能。
有一位朋友曾开发过Facebook News Feed。还记得我曾对他说过这样一句话：简单的算法，大量的数据。每个人都试图兜售很酷的新AI算法，但实际上只需要扩展逻辑回归（logistic regression）就会非常奏效。而他对此持怀疑态度。然后我就拿出了谷歌翻译App，将其设置为飞行模式，并向他演示了如何直接翻译图片上的文字。他对此印象颇深，并承认简单的算法对此无济于事（这背后主要是深度学习在发挥作用，不过这不是重点，重点是它有效。）
4
创业想法诞生
Sam Altman在2015年6月联系我，问我是否已经想好下一步该做什么了，我告诉他目前的计划是明年开一家AI公司。然后我们打了通电话，他提到他们正在推进YC的AI项目。我问：实验室的目的是什么？“建立安全的人类级AI”，他说。
在那一刻我就知道，他很适合当我下一家公司的合作伙伴。现在很少有人敢于明确尝试构建人类级AI。我意识到，有时候一项成就只需要有个胆大的人宣布目标，然后合适的人就会加入其中。
大约一个月后，Sam在门洛帕克（Menlo Park）举办了一场晚宴，参加宴会的有Dario、Chris、Paul、Ilya Sutskever、Elon Musk、Sam和其他一些人。
我们讨论了AI领域的现状、目前离人类级AI还有多远以及实现人类级AI还需要的东西等等。整场对话围绕着“什么样的组织可以最好地确保AI的有益性”展开。
答案很明显：必须是非营利组织，因为没有任何利益冲突来影响其使命。此外，这样组织还必须保持在研究的前沿（根据Alan Kay的名言，“预测未来的最好方法就是创造未来”）。为此，该组织需要有世界上最好的AI研究人员。
所以问题就变成了：是否有可能从头开始创建一个拥有最优秀AI研究人员的实验室？我们的结论：还是有机会。
这是我第一次见到Elon和Ilya，我对他们的印象非常深刻。Elon充满了好奇心，他真诚地征求他人意见并用心倾听每一份回答；而Ilya则是技术基础的源泉，他是一位头脑清晰的技术专家，知识广博，视野开阔，并且总是能够深入到当前系统局限性和功能的具体细节。
我请Ilya对深度学习给出一个好的定义，以下是他的回答：
有监督深度学习的目标是解决几乎所有“将X映射到Y”形式的问题。X包括图像、语音或文本，Y包括类别甚至句子。将图像映射到类别、将语音映射到文本、将文本映射到类别等等，如此种种，深度学习都是非常有用的，而且其他方法无法做到。
深度学习一大吸引人的特点是它在很大程度上是独立于其他领域之外：在一个领域中学到的许多东西可以适用于其他领域。
深度学习模型中建立了抽象层，这些抽象可以完成工作，但很难理解它们究竟是如何做到的。模型通过使用反向传播算法（简单且高效）逐渐改变神经网络的突触强度来学习。因此，我们可以用极少的代码来构建出大规模复杂的系统（因为我们只需要编写模型和学习算法的代码，而非最终结果）。
晚宴结束后，Sam送我回城里。我们都认同值得在AI领域做点什么。我知道，只有当有人愿意全心全意地弄清楚这究竟是什么，谁又能够加入其中，我们的愿景才会成为现实。那就让我来当这样的人吧。
所以，我明天又要构建一些有影响力的东西了。
5
OpenAI的愿景
那次晚宴上，我们谈论了成立OpenAI实验室。虽然每个来参加晚宴的人都各抒己见，但并没有一个清晰的愿景，而Elon和Sam则提出了自己的想法：OpenAI旨在构建安全的人工智能以造福人类。我也想尽可能贡献自己的力量，为了如愿以偿，便开始和Sam一起组建团队。
不过我们缺少了一个核心要素，即一位AI技术远见者，其直觉和想法可以帮助我们取得突破。
（从左至右依次为Ilya Sutskever, Alex Krizhevsky, Geoffrey Hinton）
显然，Ilya Sutskever是最佳人选。Ilya可以说是一位艺术家，他常常通过机器学习来表达自己的感受（有时也会通过绘画来表达）。Geoffrey Hinton（深度学习教父）曾告诉我，AlexNet之所以能引发一场计算机视觉深度学习革命，在于Alex Krizhevsky高超的GPU编码技能及Ilya的信念，即深度神经网络必定会在ImageNet竞赛中获胜。（Geoff对自己贡献的管理技巧感到无比自豪。Alex非常讨厌写论文，Geoff告诉他，他在ImageNet上的性能每提高1%，他就可以把论文推迟一周。结果Alex拖延了15周。)
一直以来，我都认为自己只能与相识多年的朋友共创公司。然而事实并非如此。八月下旬，我和Ilya在山景城共进晚餐，当时我就知道我们会一起合作，在此之前，我们也只在七月见过一次。我和Ilya聊得十分投机，尽管我对机器学习研究的了解不多，他对工程和团队建设的认识也没有那么深入，但我们对彼此的成就印象十分深刻，也希望能够相互学习。
我们交流了彼此的看法、汲取了彼此的长处。Ilya认为，顶级研究人员希望在人工智能组织工作，而该组织致力于为世界创造最佳成果。在我看来，要想解决一些棘手问题，则需将私营企业的资源与学术界的使命相结合。
若无外界干预，人工智能将会像自动驾驶汽车一样发挥自身的作用。一旦人工智能的潜力得以证实，人们就会与之展开合作，而后则是一场场技术竞赛。不过，人类级别的人工智能将会是一种与众不同的变革性技术，有其独特的风险和收益。我们看到了这一机遇：在人工智能领域展开合作，汇集众多顶尖研究人员，以取得史上最重大的科技突破。
Ilya和我一直在讨论团队组建方案，直到该方案得以落实。期间，我们讨论了战略（即将从事什么工作）、文化（想雇用的人员，即同等重视工程和研究的人员）和策略（举办每日阅读小组）。Alan Kay与我们共进晚餐时，向我们讲述了施乐帕洛阿尔托研究中心（Xerox PARC）的故事，包括Alto的诞生及用硬件“在未来生存”，这些硬件在十年内将花费1000美元。
事后，Ilya对用餐期间的谈话做了巧妙总结：“虽然Alan的话我只听懂了一半，但令人振奋不已。不过这顿饭帮我们验证了许多假设，即怎样才能构建一支能将工程与研究相结合的有影响力的团队。
6
早期团队的招募
由于Ilya还在谷歌工作，因此无法帮忙招聘，这一工作就落到了我身上。8月至11月，由我负责创办团队。不过，我对人工智能并不熟悉，不清楚如何招募优秀的研究人员。我首先关注的是7月参加过晚宴的人，但不能确认具体人选。
下一步，便是通过人际网络与这些人取得联系，并依次寻求他们的推荐，这与我以往的招聘方式有所不同。对于初创公司而言，首要挑战总是要向候选人“兜售”使命，但在OpenAI，使命立刻引发大家的共鸣。于我而言，挑战在于如何说服候选人相信这个未成形的组织。
人工智能领域顶尖人才的人际网络对我帮助很大。一位朋友引荐我认识Andrej Karpathy和Wojciech Zaremba（OpenAI联合创始人），由于我并未从事该领域工作，他们对我说的话表示怀疑。Yoshua Bengio又将我引荐给Durk Kingma（曾任OpenAI研究科学家，现在谷歌研究团队），当时后者对于我的提议表示很感兴趣，不过这种兴趣转瞬即逝。真正的转折点是John Schulman（OpenAI联合创始人、研究科学家）的评价，我跟他聊到这一组织的成立，他表示这样的组织正是他所追寻的，能将学术界的开放与使命同私企的资源相结合，因此加入了我们。John的支持也引起了Andrej和Wojciech的关注。
招聘工程师相对容易一些。Trevor Blackwell是一位机器人专家，也是YC的合伙人，他一直在与Sam讨论我们正在计划的疯狂想法。Vicki Cheung（现Gantry联合创始人）是在我们成立赞助机构“YC Research（现为OpenResearch）”之后申请加入的。那时，我们虽未表明研究领域是AI，但她深受YC Research构架的鼓舞，并表示很乐意参与我们团队的所有工作。
11月初，虽然我们对创始团队有了更深入的了解，但仍然需要让大家正式加入进来。在Sam的建议下，我们邀请了所有候选人去户外漫步。期间，人人都真切地表达了内心想法、观点，才思泉涌（实际上，该地也是Andrej提出Universe之地）。回程中，一路上交通堵塞。不过几乎没人留意到这一点，因为大家聊得太投入了。
我们给此次活动的参与者都发了offer，并将offer的截止日期设置为12月1日，这样我们就可以在12月初的NIPS（NeurIPS）机器学习会议上发布成员加入的消息。
“月末”就这样开始了。Sam、Elon还有我和每个人都聊了聊，主要是让大家相信这件事的真实性。除了一名完全无意涉足人工智能的工程师外，其他候选人都接受了我们的offer。
Fred Brooks在《人月神话》一书中提及了Robert Heinlein的故事，该故事讲述了“登月”项目。该项目的总工程师总会被运营任务分散注意力，例如关于运输车或电话的决策，这种情况一直持续到他收到一份报告，据报告显示不再让他负责所有与技术无关的任务。
这一故事给我留下了印象深刻，我认为它同样适用于构建人工智能的项目。技术领导除了做实际技术工作以外，同时还应该亲自做决策。我不知道自己的工程技能何时才能派上用场，不过在此期间，我决定尽我所能帮Ilya分担与研究无关的任务。
2016年1月4日，我们整个团队来到第一间办公室（也就是我的公寓）开始工作。讨论中，John和Ilya转身打算在白板上写点些什么，却发现这儿没有白板。我立即给他们买了一块白板，还有一些办公用品。
我们的第一间办公室（配有白板）
在一月剩下的时间里，我负责组织团队，帮忙确定哪些人负责哪些工作，以及团队想达成的目标。我们讨论了研究人员需要具备什么品质，践行公司理念，设计并确保面试顺利进行。此外，我们还谈论了愿景、工作方式以及想要达成的目标。我和Vicki购买了服务器，创建了Google Apps帐户，同时对我们12月启动的Kubernetes集群进行了维护。
余下的时间，我阅读了Ian Goodfellow（GAN网络发明者）的深度学习书籍（并写下了书评，由于我的评论比其官方评审员的评论更加全面，给他留下了深刻印象。因此，这也不失为一种招聘策略）。
7
Gym库
比起使用新的数据集，使用一种新的算法通常能解决机器学习中的问题，Wojciech建议构建一个库来形成强化学习环境的标准（实际上是动态数据集），现在称之为Gym。这个代码库的质量很快成为我们迭代速度的高阶位（high-order bit）。二月底，我和John讨论了Gym的公开发布时间。按照目前的发展情况，他认为可能要到今年年底才能发布。
（我们正在用机器学习训练Fetch机器人。Gym支持控制物理机器人和模拟机器人。）
一时之间，工程学成了研究进展的瓶颈。Ilya与我互换了角色，由他负责行政工作，这样我就可以专注于技术工作。和John考察了这项工作之后，我们知道在四月底之前就能构建好Gym。
在Stripe时，我发现了一个能够直接创建软件系统的可重复模式，即专注于软件，排除一切干扰，从早工作到晚。这样一来便能激励大家贡献自己最好的作品（重要的是，是以输出质量来衡量而不是工作时间）。这是我感觉最有活力的时候：编程就如魔法变成现实一般，我所想象和描述的事情都将成为可能。这种模式产生了Stripe信用卡保险库（2010年构建完毕，也就是在我假期回家的两周内完成的）、信用卡授权流程（在三周内就能建成，而银行构建周期却需要6-12个月）和夺旗赛（通常我和其他人都要花三周的时间）。从战术上讲，我可以选择一个“试发行”日期和“正式”发布日期，间隔一两周；我从未选择过“试发行”日期，但从未错过“正式”发布日期。
随之而来的是从未面临过的挑战。由于我并非该领域的专家，起初，引起了很多摩擦。我会构造一个抽象的框架来帮助Wojciech的工作顺利进行，而John会发现这一举动阻碍了他的工作进程。但很快，我就了解到哪些决定会影响研究的工作流程（例如人们如何记录指标）以及哪些细节研究人员不会关注（例如人们如何录制视频）。在确定了案例对研究的重要性之后，要保持一定的谦逊，才能做出最佳选择。我通常会提出五个可能的备选方案，John则会指出其中有四个方案都不行。但大多数设计决策可以通过软件工程的直觉做出，而无需深入了解相关领域。
幸运的是，我不是一个人。大约在Gym发布的前六周，曾与我在Stripe一起研究CTF 3的Jonas Schneider联系了我。短短几天时间，我们就在Gym上建立了合作关系。因为他人在德国，所以我们通过每日交接最终成功地完成了该项目。对于已经建立好工作关系的人来说，这真的很奇妙，若一切从头开始，我们不会保持如此紧密的工作关系。
（Gym发布后不久，我们在ICLR（国际表征学习大会）上分发OpenAI的T恤。）
总的来说，机器学习系统可视为机器学习的核心之一——通常是一种高级算法，要想理解该算法，至少需要阅读过几章Ian的书——涉及大量软件工程的内容。工程可以围绕数据进行改组，提供输入和输出的封装器，或调度分布式代码，这些都会都以黑盒形式与核心（core）连接。我们在工程和研究方面作出的努力达到一定程度时，机器学习就会取得进步。工程方面每多一分努力（例如减少Universe延迟），我们的模型问题就会逐渐变得更容易，并且有机会完成当前研究。
8
Universe平台
在今年4月Gym上线后，我和Ilya开始调整组织流程。Sam和Elon都会到访公司，提出一些指导意见，我们会根据其指导来确定团队的结构及目标。
（团队在第一间办公室工作的场景。当时办公室有白板，只是图片中未显示。）
多样、复杂的AI环境是必不可少的。Andrej提出了一个不错的建议，即创建一个Agent来控制Web浏览器，但这与Selenium测试工具有所冲突。我开始考虑使用VNC，以允许Agent从像素驱动整个桌面。
但我们发现，这种方法存在许多风险。例如，2013年DeepMind发布的Atari文章提出，他们花了50个小时从像素训练Pong游戏，我们的环境将比Pong更难。即使是做小规模的实验，我们也需要花几天时间，而且不会取得任何进展。因此，我们设定了一个降低内部风险的目标，即让Agent在一小时内学会Pong（如今我们已取得了突破：十分钟内便能解决Pong遇到的问题）。
就像构建Gym时那样，我专注于构建VNC系统，现称之为Universe。与Gym不同的是，该项目并非旨在支持我们现有的研究方式，而是提出全新的问题。关于这一点，我们每个团队都有负责人，他们负责照顾自身团队的成员，我们的工程师Jie Tang已开始带头招聘。因此，行政这一重担并没有完全落在Ilya身上。这十分幸运，因为这样Ilya就能为该风险项目的首个版本构建Agent。
一个从整个动作空间随机抽样的Universe Agent（即随意点击、按键）。更多表现良好的Agent请参阅Universe发布的帖子。
Universe项目耗时相当长，因此，需要合理分配时间来运营项目。我找到了一个平衡点，编码时，我会将时间进行划分。一次会议会扼杀整个上午/下午的生产力，若上午和下午都有会议，我将精疲力竭，从而导致晚间的编码效率大大降低。因此，我开始将会议时间限制在清晨或午餐后，且每天的会议次数低于三次，隔天的会议次数不超过一次。
搭建Universe本身就是一项系统研究工作：虽然高级规范很简单（允许Agent使用键盘/鼠标/屏幕），但从来没有人尝试过构建类似的系统。长期以来，人类一直可以用VNC控制一台远程机器，但还无法实现以编程方式同时控制数十台机器。
当我们需要衡量系统的端到端延迟时，Catherine Olsson和我构建了一个系统来将时间戳嵌入图像中。有时挑战不是技术上的：当研究因为训练数据有限而受阻时，Tom Brown在24小时内就组建了一个外包团队来玩游戏。有时候挑战也可能很难以理解，比如当Jonathan Gray注意到由于外包人员的笔记本电脑CPU较低端，游戏动态可能会与AI有所不同。
一天，当我正在努力重组一些JSON基准规范时，我意识到：我们需要重新构建这些规范，因为没有人从未尝试过在数千个游戏中对单个Agent进行基准测试。在OpenAI，做艰苦的工作也是最基本的。
在接下来的几个月里，由Dario Amodei和Rafał Józefowicz负责Universe的研究工作。他们都是夜猫子，我也和他们一起熬过了很多个夜晚，解决研究中遇到的问题。有时我也想躺在床上睡觉，但每修复一个Bug都会使研究加速几个小时。每个人的工作中都有一些非常有用的东西，能让研究人员提出人类此前从未有过的问题。
Universe团队在办公室开会
到发布时，Universe团队已经有约20个人了。Universe现在是一个旗舰项目，也是我们研究战略的核心部分。Universe的例子恰好说明“工程”是如何成为当今ML研究的瓶颈，这也让我知道为什么有那么几天只想读Ian的书了。
9
下一步发展方向
我们现在是一个拥有四十人的公司，需要有人全力来优化团队。自OpenAI成立以来，我们一直在寻找合适的首任技术经理。几个月前，Sam向我介绍了一位特别出色的工程执行人：Erika Reinhardt。Erika曾在Planet Labs担任产品工程总监，现在在和Sam一起运营voteplz.org。在Planet Labs时，Erika是对端到端卫星成像系统了解最深的人之一。她工作努力，自驱力强，总能把事情做好，前同事都说她是所能遇到的最聪明的人。Sam和我就准备邀请她加入公司。
公司团建，2016年10月
但在选举会和Universe发布会上与我们合作时才是她最具魅力的时刻，她发现她的领导技能在这种环境中非常适用。她告诉我：在看到OpenAI在参议院举办的首次AI听证会上发言的那一刻，她就下定决定要加入OpenAI。当时OpenAI说：我们正处于重大技术变革的开端，此时最重要就是要把握时机。
在Stripe时，Marc Hedlund和我常会遇到他在之前的许多公司中都遇到的问题，所以他喜欢开玩笑说所有公司都一样。就这一点而言，确实有现实依据：如果将范围缩小一点，就会发现公司都是围绕一个目标来把人组织起来。但每个公司要解决的问题又不一样，这又决定了公司之间会有所差异。
大多数初创公司都是先创造出一种技术，然后随着时间的推移对其进行运营和扩展。OpenAI是创造新技术的工厂，这意味着我们必须构建公司来创造新事物。我们需要维护基础设施和大型代码库，但它们又满足了我们快速行动、创新和通过结合软件工程和机器学习研究来达到新高度的需求。
在OpenAI当CTO的这段时光里，我做的正好是我最喜欢做的事：写代码。但即便如此，人仍然是我关注的焦点，所以我在OpenAI的故事是与社会的故事，而不是与技术的故事。
在未来，我们团队要继续携手并进，共同应对海因莱因短篇小说中“卡车或电话”的挑战，OpenAI才能持续发展。在此，我向Ilya、Sam、Elon以及为OpenAI付出过的每一个人表示衷心的感谢。
三十年前，互联网（Web 1.0）时代开启。人们只能在笨重的电脑上用鼠标点击由HTML编写的网页文本，随后开始支持插入图片，可以上传视频，于是有了网络新闻、搜索、电子邮件、短信、网游......互联网带来了全新的商业模式，深刻改变了人们的生产生活。三十年后的当下，以ChatGPT为代表的大模型问世了。起初人们拿它当玩具，直到ChatGPT的诞生与人类实现惊艳交互，自动生成文本信息，而刚刚发布的GPT-4更是进化成支持文本和图像的多模态大模型，还能理解图像、代码，目前已经接入到微软Office全家桶......
看到两者的共性了吗？
比尔·盖茨说，ChatGPT不亚于互联网的诞生。而OpenAI总裁、联合创始人Greg Brockman更直截了当：“我们会拿下Web 4.0。”在去年ChatGPT发布前与ScaleAI CEO Alexandr Wang的对话中他这样谈到。而在3月10日举办的SXSW 23大会的另一场对话上，他称：我们正在创建新型互联网或类似的东西。
多模态GPT-4更像往这一方向演化的雏形。在ChatGPT发布后，仅仅经过四个月的大约五次更迭，这个升级版模型展现出更震撼的效果和更大影响力。
这让一直在研究人类大脑运作机制的“深度学习教父”Geoffrey Hinton也不免感到激动：“毛毛虫提取营养物质，然后破茧成蝶。而人们已经萃取了数十亿理解的精华，GPT-4就是人类的'蝴蝶'（humanity's butterfly）。”他还评价了让ChatGPT大获成功的秘密武器：人类反馈的强化学习（RLHF）是在教育一个超自然早熟的孩子。
这使得人类与机器实现了动态互动，让机器的智能特征体现得更明显，不同于人类与传统互联网交互的静态方式。在Brockman看来，我们正走在一个充满活力的世界，AI将改变人们与信息互动的方式，它会理解并帮助你。换句话说，GPT模型在真正改变人机交互的方式。
GPT模型所取得的成就令人艳羡，不过这建立在OpenAI数年的技术探索和坚定信念上。
作为深度参与了GPT模型从0到1生产过程，以及推动GPT研究和工程落地的主要“幕后推手”，Brockman对此深有体会，“它并非试图像快速致富那样昙花一现，而是一直在缓慢积累价值，才有了指数级增长带来的巨大回报。”
人们好奇包括GPT-4、ChatGPT在内的模型在爆发前所经历的蛰伏和执着，尤其是有志于打造类GPT模型的研究者们很想知道，GPT模型是如何从最初的胚胎想法逐步被OpenAI培育成孩子的？这个孩子又将如何长成AGI？它在可预见的未来对这个世界会带来哪些变革？
对于这些疑惑，问Brockman再合适不过了。此前，在SXSW 23以及与Alexander Wang的两场对话中，他对此进行了详细阐述，OneFlow按QA形式进行了编译整理。（内容转载请联系OneFlow获得授权。）
1
ChatGPT的爆火
Q：ChatGPT是如何产生的？GPT模型当初发布时显得有些违反常识，但却在某种程度上掀起了最新的AI浪潮，这与你们当初构建这些技术时的预期是否一致?
A：ChatGPT、GPT-3、DALL·E 2这些模型看似一夜成名，但其实构建这些模型耗费了整整五年时间，饱含多年的心血。
GPT模型的构建要从2017年发布的情感神经元论文（Neural Sentiment Neuron: A novel Neural Architecture for Aspect-based Sentiment Analysis）说起，这篇论文的思想很新颖，不过很多人可能已经忘了。
OpenAI研究员Alec Radford对语言非常感兴趣，并致力于聊天机器人的研究。我们真的很喜欢Alec，非常支持他在我们去调研严肃项目时做任何他想做的事。
当时他负责的一个项目一直在训练LSTM模型，以此来预测亚马逊商品评价中的下一个字符。该模型能预测下一个字符，了解评价类型，还会像机器人一样学习，不过它也并非无所不知。
我们发现LSTM模型中的单个神经元有助于开发出SOTA情感分析分类器（sentiment analysis classifier），可以告知你文本情感（正面评价或负面评价），这一发现听起来平平无奇，但我们非常清楚地知道，这是一个超越语法并转向语义的时刻。
我们必须不断去推动。2017年底，Transformer问世，当时OpenAI联合创始人Ilya Sutskever立即发现这正是OpenAI一直在期待的模型。因此，尽管当时Transformer还并不完善，但我们基于它相继研发了GPT模型，基于对好的和糟糕的事实进行训练，以预测给定单词序列的下一个词。然后使用强化学习，让人类引导模型找到正确的答案。
我们内部运行的算法就是通过这些小方法来获取生存迹象（signs of life）。对于特定的数据集，必须非常小心才能区分出真正的生存迹象，否则就难以取得进展。但如果你的直觉准确，就会知道是时候加大算力和研究人员的投入，进行模型扩展了。
GPT-2的问世显然令人眼前一亮，通过函数曲线就知道模型越大，需要投入的算力和数据就越多，同时获得的工程细节就越多，曲线就变得更好了。我们的目标只是打破现有范式，不断改进模型，直到曲线趋于稳定。
一直到研发ChatGPT，我们所做的额外工作就是让模型更有“活力（alive）”，并创建了一个超级简单易用的交互界面，免费提供给所有人。
Q：ChatGPT是在去年11月底上线的，为什么会在这个节点发布？
A：准备发布ChatGPT时，我一直告诉团队，我们可以非常保守，比如拒绝做任何看起来有点草率的事情，最重要的是，不能在发布后的三天内就因为陷入舆论麻烦而关闭ChatGPT。
我们有数百个测试人员花了好几个月去做测试，但这与让它完全暴露在充满多样性和对抗性的真实用户使用环境中非常不同。
从2020年6月开始，我们已经做了很长时间的迭代部署，第一次开放产品的API给普通用户肯定很紧张，但我确信团队能应付自如。
Q：ChatGPT正式上线两个月内用户超过1亿，成为历史上增长最快的应用，而Facebook用了4.5年，TikTok用了9个月达到类似的成就。现在所有人都在讨论ChatGPT，为什么它会成为杀手级应用？
A：实际上，我经常思考这个问题，ChatGPT背后的模型大约是在一年前研发的，所以并不是新技术，但它的不同在于对话更具一致性，你真的可以和它对话，它会做你想要做的事。其次，我们让用户很容易就可以体验它的能力。
非常有趣的是，随着ChatGPT真正开始流行起来，人们可以看到，相当长一段时间内技术可能做到的事情以及实际能做的事情之间的差距。确保人们知道事物的发展方向真的很重要。对我来说，这也许是最大的收获。
Q：你认为生成式AI最有趣和最具颠覆性的用例是什么？
A：我想讲一个个人轶事。医疗诊治绝对是一个高风险领域。几年前，我妻子得了一种神秘的疾病，她的腹部右下方感到疼痛，会是阑尾炎吗？我们看了两个医生都认为是细菌感染，开了不同的抗生素，但都无济于事。第四个医生做了超声波检测才找到了病因。
而当我把那些症状输入到ChatGPT中，给出的答案是：第一，确保不是阑尾炎；第二，卵巢囊肿破裂，而这正是确诊的病因。但我不想让它取代医生，也不想让它告诉我去服用这种超级罕见的抗生素。
Q：ChatGPT有时会一本正经地胡说八道，就像醉酒的疯子。
A：确实，所以在使用过程中更要有信息甄别能力。其实ChatGPT的准确性很高，只是我们在训练过程中损坏了一些信息。我很高兴人们通过与其交流来缕清思路，只将其当做一种全天候待命的认知辅助工具。
Q：你能分享一下关于GPT模型未来版本的想法吗？它是否会更谨慎、更具创造力？
A：先解释下我们是如何构建这些系统的。第一步，我们需要训练一个基础模型，它的目标只是预测下一个单词。我们会给这个模型提供大量的文本数据，但并不会告诉它哪些信息是正确的。这个模型需要在这些文本数据中学习，并且在这个过程中必须考虑所有上下文信息来预测下一个词。所以这个模型同时也会习得偏见、意识形态和思想等信息。
第二步是进行人类反馈的强化学习（RFHL），也被称为后期训练（post training）。在这一阶段，我们会从大量的文本数据中选择有用的数据，告诉它如何正确地处理数据。
然而，还存在一个非常重要同时又非常棘手的问题，那就是AI应该做些什么？谁来作出这个决定？这是一个非常不同的议题，我们正在不懈努力让它具有合法性（legitimacy）。我们发现，基础模型本身实际上是根据其不确定性进行校准的，但这对后期训练来说是一项需要解决的工程性难题。
自去年12月以来，我们已经发布了四到五个不同版本的ChatGPT，例如事实准确性和幻觉问题均已得到了改善。这得益于通过后期训练不断改进。
我相信，未来我们将会拥有更加准确、能够自我检查工作质量、知道何时拒绝、何时提供帮助的GPT系统，同时还能协助人类完成更加艰巨的任务。
2
构建GPT模型的信念
Q：很多人在初次使用GPT-3时就深受震撼，尤其是模型的定性新行为（qualitatively new behaviors），而不只是模型在既定任务上的良好表现。你看到早期模型成果时是否会感到这很神奇？
A：当时的结果令我十分兴奋。我们只需要写出函数名称和文档字符串就能真正编写出函数，尽管不是十分复杂的函数，但它能够根据要求写出代码，做一些小小的修改就能满足需求。
有趣的是，以前我们认为模型只在特定数据分布中表现出色，一旦超出分布范围就会出现问题，而GPT-3的范式可以应用于不同的数据分布。你会发现模型具有泛化能力，而且对已知的数据，泛化能力更强。
那模型对于未知的数据的泛化能力怎么样？人类不太擅长未涉足的领域，而模型可以从大量不同配置中学习并提取有用信息，这简直不可思议。
Q：在开发GPT-3的过程中，需要投入大量的计算资源，而且实验也不一定能成功，这需要很大的信心和决心。在整个过程中，你是否怀疑过自己，或者是否相信只要不断进行尝试就能取得成功？
A：实现模型扩展并不是想当然的事，需要不断尝试才能找到最佳解决方案。有趣的是，当我们得到首个扩展结果时，确信这是正确的方法，可以一直推进，直至获得最佳结果。
我们研究DOTA这款游戏整整三年。一开始，我们对这款游戏一无所知，经过不断努力打败了游戏开发商内部的团队，最终成功击败职业团队。期间，我们进行模型扩展，并且解决所有bug，在每一个维度上不断迭代，从而获取更好的回报。这同样适用于GPT-2模型扩展，其迭代过程相当复杂，为此还需要分配出大量的计算资源，这需要具备坚定的信念。
另一方面，模型扩展是迭代的过程，因此你不必考虑会做出不可逆转的决定，因为每一步都能从现实中得到反馈，这样就可以从大局思考“如果这个方案成功了会怎样”。同时，还能确保你已为成功做好了准备。
不过，也不要盲目将一整年时间都花在可能不会取得预期结果的事上。平衡这两者才是关键所在。
Q：从DOTA和情感神经元中学到的东西是你们制胜的关键。虽然从外部看，这些零散的知识不是很直观，但将其整合在一起就为扩展和构建GPT-3指明了方向。这好像就是创新的方式：将各种实验成果整合在一起，就构建出了新事物。
A：这就是第一性原理的实践。
3
为何看好AI的发展
Q：2017年左右，AI算法还非常弱，但你就坚信AI的能力会逐渐提升，拥有很好的发展前景，为什么你会对AI有如此乐观的态度？
A：在某种程度上来说，这其实是一种直觉。我在上学时就对NLP非常感兴趣，还找了一位这方面的专家，请求与他做NLP方面的研究，他同意了。他给我讲解了一些NLP领域的相关内容，但听完后觉得，NLP不是我想要的东西，因为它没有正确的特性（properties），就好像我们在NLP系统中投入了大量精力，做了大量工作，但却无法说清楚语言到底是如何运转的，仿佛缺少了某种内在的东西。相反，神经网络的运作就非常清晰，神经网络系统就像海绵一样大量吸收数据、算力，它有正确的形状因子（form factor）。
但我们忽略了一件事，那就是这个神经网络能否被训练，要考虑是否有足够的数据、算力、是否有足够的能力等。
2012年，Alex的论文让神经网络重获关注，我认为这是神经网络领域取得的第一个重大成果。人们在计算机视觉研究方面花了几十年的时间，但CNN的出现让这一领域有了质的飞跃。
这就好像是一些原本彼此隔绝的部门的隔绝状态一天天被打破，清楚地表明某些事情即将发生，有某种巨大的潜力正在等待被挖掘。
Q：你们是否怀疑过技术方面的选择，还是说一直都很有信心，从未动摇过？
A：在这个过程中，我们难免会质疑所做的选择，怀疑策略是否正确，所做的事是否正确。比如我们会进行多次计算以确定模型大小，因为犯错在所难免，必须找出这背后的原因，毕竟不能指望AI去找原因。
扩展定律（scaling law）就是一个很好的例子，我们做这个研究是为了更科学地理解模型在各个函数图轴上的提升方式，我们不断给模型提供算力和数据，但终究有限。多年以后，我们突然意识到对这条函数曲线的理解有误，因此，我们又投入了大量的token和数据去训练模型。
从下游结论来看，训练数据太少，所以得出的结论就不太对。之后在某个时刻，你会突然意识到原来问题出在基本假设上，这样一切就都说得通了。
我一直有一种感觉，在工作中如果坚持不懈，不断探索，做到极致，将是最激动人心的时刻，这意味着我们触及到技术领域的极限，真正做成了一些事情，同时也意味着终于能看清下一步的方向。
Q：这让我想到了Stripe公司的运营原则之一：宏观上乐观，微观上悲观。这句话很能引起共鸣，在面对技术问题时，我们必须要做好最坏的打算，但显然，从长期来看，你对自己的工作一直很有信心。
A：是的，这是一个充满激情与活力，拥有强大力量的领域，我们要怀有敬畏。
这些模型最初只是一堆随机数字，在数字的基础上人们发展出了超级计算机，海量数据集，我们做了算法开发等大量的工程工作，然后再进行整合。
神经网络是独一无二的技术领域，从根本上来说，它就像是一块海绵，我们只需要喂入数据，就能训练出模型，这个模型可以重复使用，可以处理跨领域的工作。而传统软件需要人工去写下所有规则，从这些规则中得到反馈，人们也许可以利用Spark集群来处理一些事务，但我并不想这样做，我对神经网络更感兴趣。
Q：在创办OpenAI之前，你担任过Stripe首席技术官，这两家企业可以说都是业内标杆，但它们有何异同？
A：很有趣的一点是，当这两家公司面临问题时，采取的思维方式都是第一性原理思维。
Stripe在产品预发布时激起了一定的浪花，究其本质是我们在早期就拥有一定的客户。当时，一位做风险投资的朋友想知道产品预发布成功的秘诀。当我告诉他不过是改进了付款方式，他一脸的不可思议，但那其实就是秘密武器。
我们从第一性原理出发，即事物的本质出发去重新思考做事的方式，而非一味地照搬他人做法。我们会问自己：应该怎么做？难点在哪儿？有必要这样做吗？
OpenAI在AI领域做事的方式与之前相似。为了进军AI界，我们雇佣了很多接触过该领域的员工，不过也有人从未涉足过Ai，而是以初学者的身份进入AI界。在我看来，以这种方式进入一个未知领域能免受其常规做法的束缚，一切从零开始，排除外在因素的影响。
两家公司之间也存在差异。对Stripe而言，它开发了传统的Playbook，在思考出创新点后，就对产品进行构建、打磨，而且在构建产品的第一天就有目标客户。OpenAI则需要研究客户是谁，从2015年底开始，到2020年我们才拥有了第一款真正意义上的产品。
因此，要弄清楚做什么以及能做好什么，而对这些事情的思考都源于组织内部而非外部。
4
乐观看待AI的潜在风险
Q：人们对OpenAI的研究也有很多担忧，比较忧心技术方面潜在的负面影响。人们说AI将取代我们的工作。那么，哪些职业的风险最高？
A：过去，人们认为AI将首先替代那些从事体力劳动的工作，但实际情况并非如此。现在，AI在认知方面的发展已经取得了巨大进步（例如写诗），但在物理性质的事物发展上却没有非常大的进步。
这表明，AI的发展进程与人们的预期相差甚远。此外，仍有一些工作无法实现自动化，这表明人类的能力比我们想象得更强大。
作为一名程序员，我的期望是能够借助工具提高工作效率。目前，我们使用的AI代码助手Copilot能够自动补全代码，对于一些不太熟悉编程语言或特定的库函数的人来说非常有用。而ChatGPT更强大，可以帮助我们编写整个函数，或者根据需求编写聊天机器人框架。
未来的编码过程将会变得更加简化，我们只需做出设计决策，而不必亲自编写每一行代码，这将大大提高工作效率，同时也可以帮助我们在职业上更进一步。
Q：如果将认知能力都外包给AI，那么人类的智力会不会有下降风险？
A：这也是最让我彻夜难眠的事。放在以前，这种趋势可能会令人兴奋，但我发现，人们逐渐不再喜欢阅读和思考。所以在这项新技术来临之前，我们要确保如何使其成为人类的“智力倍增器”而非“削减器”。
人类真正需要的是能为我们分解问题的“导师”，而不是帮我们全盘解决问题的AI。正所谓授人以鱼不如授人以渔，只有这样我们才能走得更远。
Q：随着数据、算法和计算规模的不断增长，大公司会竞相构建更大、性能更好的超级计算机，而拥有更大的超级计算机就意味着比其他超级计算机更具优势，这种情况会成为未来的发展趋势吗？是否能找到一种更开放、更有用的方式，避免它成为大公司之间的竞争工具？
A：未来的发展趋势就像计算技术在更多领域的重演。未来仍然会出现只有少数人掌握的越来越庞大的超级计算机，能创建出常人无法构建的超级大模型，但这并不会削弱人们利用这些模型所做事情的价值。
我认为，超级强大的、具有双重用途的、极度复杂的系统，像风力涡轮机那样将分散在各处的、更加容易掌控的系统之间进行权衡是很重要的。对于非常强大的新兴技术，必须采取双重解决方案。
随着技术的发展，人们对AI的看法也发生了变化，开始发现AI真的有用。朋友们，是时候开始构建（AI）了。
Q：有研究表明，当前科学发展的脚步整体上在放缓，而AI相对在逐步加速甚至正走向复兴。你是否担心AI的发展在未来也会放缓？
A：事物总是呈S型曲线发展，而且通常会有范式转变。Ray Kurzweil的《奇点临近》一书介绍了计算机不同行业的发展曲线，展示了各种性能的时间变化。100年来，我们差不多经历了五次不同的范式转变，才创造出了当前的计算机。我们当下在做的事情也会是S形曲线，并出现范式转变，这体现了人类的创造力。
另一方面，范式是否发生转变并不重要。现在AI的重点是它的用途，我们希望通过AI来提升计算机的能力，让计算机发挥更大的作用，当然，它也带来了一些新问题，但总的来说，它解决的问题要比创造的问题多得多，并且改变了人类的交互方式。
在AI领域，我们取得了一些新的突破，以GitHub Copilot为例，它能在很低的时延下完成代码的自动编写，但如果时延超过了1500毫秒，那么该工具就没有人会使用。
现在有些事情人类实现不了，但可以用机器来辅助我们完成，这才是重点。如果我们正在做的事情发展进入停滞，也并不影响它们能创造的价值。
Q：你对AI发展的最大顾虑是什么？
A：人们对于AI的看法一直都比较有意思。如果回到十年前，你翻开任何一篇文章，或者说问街上的任何一个人关于AI的看法，一定都是负面的，人们对于AI的看法一直都比较复杂，混合着恐惧的情绪。人们有时能看到AI的潜力，有时看不到，但是大家一直在试图看清AI。
我完全赞同人们所说的，既要看到AI好的一面，也要看到坏的一面，不能做一个盲目的乐观主义者，也不能完全悲观，好像人类快要走向灭亡一样，这两种看法都是有问题的。
AI发展将经历不同的发展阶段。现在面临的最大挑战是滥用问题，系统本身还不是那么强大，但其实问题的根源在于背后的人心，虽然文字具有强大的力量，但不会直接影响这个世界，问题出在人们的行动上。我们要在社会和技术层面找到避免滥用的方法并对系统进行监督，这至关重要。
另外，将来系统本身会变得十分强大，假设系统在没有监控的情况下与多人互动，将产生什么样的影响？对于这种情况OpenAI已经有所警觉，我们要建造与全人类价值观相符的系统，有选择性地让特定价值观进入到系统当中。当然，要做到这一点并不容易。
5
AI的未来发展方向
Q：AI在哪些方面有值得期待的应用场景？
A：AI真正能做的是增强人类现有的能力，在写作、编程和娱乐等知识工作方面就是如此。最令我感到兴奋的是，技术门槛将会降低。对于那些有创意并想付诸实践的人来说，AI会为他们提供一个“完整的创意工作室”。专业人士也将有机会创造出比任何业余人士都更好的东西。
AI不仅不会使人们的技能消失，反而还会使生产力倍增。比如激发人们的创造力，不会画画的人现在可以通过模型创造出各种图像，现在我们可以让自己脑海中的画面真正出现在纸面上。比如3D设计师们可以先利用DALL·E对他们想要的东西进行渲染，然后再开始制作。
很多人都看过《权力的游戏》，但我知道结局却没能遂每个人的愿。有了AI，人们就可以制作自己想要的结局，甚至将自己作为主角代入其中。有人可能会说“我并不需要”，但这就像口袋里的手机，你可以不用，但需要的时候，它就能派上用场。
Q：你怎么看待AI的未来？
A：AI仍然会是一个活跃且多变的领域，它的发展也许会出乎所有人的意料。我们的任务是尽可能地为AI发展提供便利。
最早一批利用GPT-3提供服务的客户估值已经达到了数十亿美元。看着模型为如此多的人创造巨大价值，是一件很有成就感的事情。
未来十年，这些模型将快速发展，应用将无处不在。AI的发展会和互联网类似，1990年，人们对互联网还知之甚少，21世纪初，人们开始对互联网感兴趣，这时机遇与挑战并存。现在，互联网已经成为商业发展中不可分割的一部分。
我们的任务就是开发通用人工智能，去建造出一种能够处理所有任务的全能机器，并将这一技术开发到极致，让它们在最具经济价值的工作上达到超越人类的表现。要做到这种程度只是时间问题，当这些工具真的发展到了如此有创造性的地步，且能够超越人类的时候，它们甚至会自发地开始工作。
未来，我们还不知道AI的价值会如何分配，也不知道该如何利用AI来解决人们目前难以应对的挑战，例如气候变化、大学教育等等。
Q：这些技术出现的时机也很有意思，去年，人人都在讨论Web 3.0是加密货币（crypto），但如今看来，AI才是真正的Web 3.0。
A：我们会拿下Web 4.0。
Q：你提到两个非常有意思的方向，一是GPT模型等现存技术的进步，它们在商业上的应用越来越广泛，二是通用人工智能算法的持续提升。目前来看，AGI的发展方向会是怎样的？
A：人类很早以前就开始了对通用人工智能的研究，这点仅从神经网络的发展历史就可以看出。2012年是改变世界的一年，算力需求每年增长10倍，而且还在持续增长。回报开始变得可预期，所以我们要投入更多的资金来建造大规模的超级计算机。
通过注入更多算力、更好地利用反向传播神经网络技术，构建更强大的模型，这个流程是很固定的。但其中的细节可能会有所变化，比如你想要开发GPT模型还是Whisper、注入语音数据还是从互联网注入文本数据，这些细节可能很重要，这关系到你要做什么，要下载什么资源。但如果放大视角看待这项技术，这又没那么重要。
我们学会了利用扩展定律来进行所有的科学调整，务必要确保这些模型不仅聪明，而且与人类的意图保持一致。我们的目标是每年都做一些以前不可能做成的事情。
我们正在构建的东西就跟构建计算机一样。在摩尔定律的辉煌时期，新芯片层出不穷。因为要想建立最好的计算机，只需要不断构建下一个最好的芯片，并持续对技术中的各部分进行改进。
相关链接：
[1]. https://aibusiness.com/nlp/sxsw-23-openai-co-founder-shares-the-story-behind-chatgpt
[2]. https://www.youtube.com/watch?v=Rp3A5q9L_bg
[3]. https://www.youtube.com/watch?v=YNkxVDAiA1Q
如果您对AI、大模型感兴趣，诚挚邀请您参加12月16日在上海举办的第八届全球边缘计算大会，AI时代的边缘计算，讨论大模型，讨论AI.....
点击阅读原文，立即报名。