通向AGI的规划和展望 - Sam Altman ,the CEO of OpenAI

我们OpenAI的使命是确保AGI(通用人工智能) - 一种智能程度普遍高于人类的AI系统可以造福于全人类。如果我们成功创建了AGI，这项技术可以丰富我们的生活、推动全球经济发展，帮助我们发现能改变人类目前所受限的新技术，提升全人类的幸福。

AGI有很大的潜力，可以赋予每个人令人难以置信的新能力；我们可以想象一个世界，在这个世界中，我们所有人都可以从AGI那里获得任何你想做的任务的帮助，包括现在人工智能不太行的认知任务(现在的人工智能在感知任务上的表现更为出色)，减少我们很多的工作量，为人类的聪明才智和创造力提供更广阔的空间。

另一方面，不得不承认，伴随AGI而来的，会存在严重的滥用AGI、AGI造成错误事故，以及造成一些社会层面恐慌混乱的风险。虽然AGI的优势如此之大，相对的风险也如此大，但我们不认为社会会因对其能力的恐惧而阻止它的发展，相反，社会和AGI的开发者应该想办法把AGI做得更好。虽然我们无法预测将来具体会发生什么，而且我们目前的项目进展也会遇到一些障碍，但我们只需要关注一些关键问题，我们将最关心的三个AGI原则总结如下：

1.我们希望借助AGI的能力，使人类在所生存的这个宇宙中实现最大化的繁荣发展。我们不指望未来是一个毫无保留全部托出的乌托邦，但我们想要最大限度地利用AGI的优势，降低它的负面影响，并使AGI成为人类发展的助推器；

2.我们希望AGI的益处、利用和治理能够被广泛而公正地分享；

3.我们希望成功地应对AGI带来巨大的风险。在面对这些风险时，我们承认理论上看似正确的事情在实践中可能会出现一些奇怪的状况。但我们相信，我们必须通过部署不那么强大的技术版本来不断学习和适应，以便将“一次性成功”的风险降到最低。

为了更充分的应对AGI的到来而做好准备，我们认为现在有几件事情非常值得去做。

首先，随着我们创建的系统越来越强大，我们希望能够部署它们，并在现实世界中实践如何更好使用它们，积累相关使用经验。我们认为这是谨慎地引导AGI的最佳方式，逐渐过渡到拥有AGI的世界比突然进入这样的世界更好。强大的人工智能将使世界进步的速度大大加快，逐步适应这种变化也是更好的选择。

这种逐步过渡的方式可以给人们、政策制定者和机构足够的时间去了解正在发生的事情和变化，亲身体验这些AI系统的好处和弊端，以适应我们的经济社会发展，并制定相应的监管措施。这也允许社会和人工智能共同进化，让人们在风险相对较低的情况下，对于未来真正所想要的，所追求的，有更清晰的思考和规划。

在应对AI系统部署所面临的各种挑战时，最佳方式无疑是通过快速学习和谨慎迭代，来构建一个紧密的反馈循环。社会将面临这些AI系统部署应用的问题，例如，哪些是人工智能系统所允许的行为，如何解决AI系统偏见问题，如何处理人类的就业岗位流失问题等。最优决策将取决于技术的发展路径，像任何新兴领域一样，大多数专家的预测到目前为止都是错误的。这使得在我们在提前对项目做出详细规划变得非常困难，因为不得不考虑未来外部变量的变化，会影响我们一开始的设想。

一般来说，我们认为在世界范围内更广泛的使用人工智能将会带来巨大益处，并希望推广和促进它的使用（通过将模型放入我们的API、开放源代码等）。我们相信民主化的访问也将产生更多更棒的研究，更分散的权力(没有将算法权利集中在少数人中)，更多的AI应用带来的增益，以及让更多的人贡献自己对此的新想法。

随着我们的系统越来越接近通用人工智能，我们对模型的创建和部署会变得越来越谨慎。我们的决策将需要比往常的新技术应用部署有更高的谨慎，也会比许多用户希望的更谨慎。虽然也有AI领域的观点认为AGI（包括后继系统）的风险是虚假的，如果他们最终是正确的，我们会对此感到高兴，但我们仍然会视风险存在去运作AI系统。

在某个时候，AI系统部署利弊之间的平衡（例如赋予恶意行为者权力，造成社会和经济混乱，加速不安全的竞赛等）可能会发生变化，在这种情况下，我们将围绕持续性迭代优化改进部署目标，修正和改变我们之前的计划。

其次，我们正在努力创建越来越和现实对齐，更为可控的模型。我们从第一版GPT-3模型转向InstructGPT和ChatGPT模型就是一个践行此目标的例子。

我们尤其认为社会必须就AI的使用范围达成广泛共识，在这个范围内，个体用户应具有很大的自主权。我们最终的希望是，全球机构将就这些界限达成共识；在短期内，我们计划进行外部输入的实验，不断完善我们的AI使用界限规则。同时世界机构也需要增强这方面的额外能力和经验，以便为AGI 的复杂决策的部署应用做好相关的准备。

虽然我们产品内置的“默认设置”可能会一定范围内限制用户使用发挥的空间，但我们计划让用户更轻松地更改他们正在使用的AI的行为。我们相信这样是对的，赋予每个人做出自己的决定的权力，尊重和巩固多样性的力量。

随着我们的模型变得更加强大，我们需要开发新的对齐技术（以及测试来了解我们当前的技术何时失效）。我们的短期计划是使用AI帮助人类评估更复杂模型的输出并监控复杂系统，并在长期内使用AI帮助我们想出更好的技术对齐方案。

更重要的是，我们经常认为需要同时取得AI在安全性和应用性能上的协同发展。单独谈论它们其中之一可能是一种错误的二元论，它们在许多方面是彼此相关的。我们目前做得最好的安全工作，就是与我们最强的AI模型一起完成的。所以，调高安全进步与模型能力进步的比率也很重要。

最后，我们希望进行全球对话，探讨三个关键问题：如何治理这些系统，如何公平分配它们产生的利益以及如何公平的进行共享接入。

除了上述这三个问题，我们尝试以一种使我们的激励与正向结果相一致方式，来建立我们的公司治理结构。我们在公司章程中有一条条款是关于协助其他组织推进安全性，而不是在后期阶段的AGI开发与他们进行激烈竞争。我们设有一个股东回报上限，这样我们就不会被激励去追求无尽的利润，从而冒险部署可能造成灾难性危险的AI系统（当然这也是为了与社会进行分享利益的一种方式）。我们有一个非营利组织来管理我们，让我们始终以人类的利益为导向而运营（并且可以置于任何营利利益之上），为了人类的安全需要，我们甚至可以做像取消股东的股权义务这样的行为，我们当然还会去赞助全球最广泛的UBI(普遍基本收入)试验。

同时我们也认为，向我们这样的AI机构在发布新系统之前接受独立审计很重要，我们将在今年晚些时候详细讨论这个问题。在某个时候，在新的AI系统进行训练之前，很有必要进行独立审查，对于目前最先进的AI系统，我们也同意限制其用于创建新模型的计算资源增长率。我们认为，关于AGI的相关安全使用，包括应该何时停止训练运行、决定释放安全模型或从生产中撤回模型的这些决策，需要在公共标准的制定中进行体现。最后，我们认为政府的介入参与也很重要，世界上的一些主要政府应该主动监督关注，超过一定规模的大模型的训练运行可能产生的问题，对此需要培养并具备对此的风险洞察力。

关于更远的规划，我们认为，人类的未来应该由人类决定，并且分享我们的工作进展信息对于公众来说是很重要的。所有尝试构建AGI的工作都应该受到严格审查，并对重大决策进行公众咨询。

第一个实现的AGI将成为智能持续演进的起点。我们认为，从这个起点开始会持续的向前进步，并在相当长的一段时间内保持过去十年的发展速度。如果这个真的实现，世界可能会变得非常不同，风险也会变得很高。一个错位的超级智能AGI可能会给世界带来严重的伤害，一个拥有决定性超级智能领先地位的专制政权也同样如此。

另外，能够加速科学进展的人工智能是特别值得考虑的，因为这可能比其他一切都更具影响力。足以加速自身进展的AGI可能会引起重大变革的出现，这可能发生得非常迅速（即使过渡开始比较缓慢，我们也预计在最后阶段会变得非常迅速）。我们认为，一个更缓慢的启动方式更容易保障安全，所以AGI的工作在关键时刻通过人类协调介入，使之减速就变得非常重要（即使在不需要介入协调问题的情况下，减速也可能很重要，因为要给社会足够的时间来适应这种变化）。

成功地过渡到具有超级智能的世界，可能是人类历史上最重要、最令人充满希望，也最令人恐惧的项目。这种成功还远未得到保证，而其间的利害关系（无限的下行和无限的上行）却可能将我们所有人团结起来。

我们可以想象人类能到达这样一个世界，这个世界的繁荣可能对于我们中的任何人来说都无法完全想象。我们希望为世界做出贡献，创造一个与创造这种繁荣相一致的AGI。