OpenAI发布AGI路线图，AGI或成为人类的巨大力量增幅器！网友：适应or死亡
编｜桃子 昕朋
源｜新智元
ChatGPT爆火出圈让人们开始重新思考人工智能的未来在哪？恰在昨日，OpenAI发布了通用人工智能路线图，分享了其对AGI的短期和长期规划。
继ChatGPT成当红炸子鸡后，微软、谷歌、Meta等大厂纷纷入局。
随之而来的是，人们对其广泛应用也产生了担忧。
前Alphabet执行董事Eric Schmidt和其他合著者在WSJ发表的文章中称，
生成式人工智能提出了自启蒙运动以来从未经历过的哲学挑战和实践挑战。
就在昨日，OpenAI首席执行官Sam Altman发文，分享了OpenAI对通用人工智能（AGI）的当前和后续规划。
文章强调，OpenAI的使命是确保AGI造福全人类。
OpenAI愿景：确保AGI造福全人类
文中，提出了OpenAI最关心的三原则。
如果AGI最终成功构建，这项技术不仅可以带来更多可能性，推动全球经济发展，还能改变新兴科学知识的发现，从方方面面帮助人类提升生活水平。
AGI可以赋予每个人不可思议的新能力。
在AGI触手可及的世界，所有人都可以获得几乎所有认知能力的帮助，AGI或许能成为人类才智和创造力的巨大力量增幅器。
但另一方面，正如一些人所担心的，通用人工智能也会造成严重的滥用、意外和社会混乱。
然而，AGI的益处令人惊叹，我们不能讳疾忌医，让社会永远停止发展；相反，社会和AGI开发者必须要想办法把它做好。
与通用人工智能共同生活的未来图景难以预测，当前AI的进展可能会遭遇新的挑战，但在ChatGPT获得成功的当下，我们列出了公司最关心的几项原则：
希望AGI可以为人类赋能，使人类能够在宇宙中实现最大程度的繁荣。我们不希望未来成为一个虚假的乌托邦，但我们希望将技术好的一面最大化，坏的一面最小化，让AGI成为人类善意的放大器。
希望以公平的方式，更广泛地分享AGI的益处、获取和治理。
要正确应对潜在风险。在面对这些风险时，理论上似乎正确的事情在实践中往往比预期更难以控制。我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少「无可挽回」的情况。
短期目标：为AGI做好三项准备
因此在短期内，OpenAI计划做到以下几件事。
首先，随着公司不断构建出更为强大的AI系统，我们希望快速部署AGI，以积累在相应的应用经验。
在OpenAI看来，谨慎管理AGI的最佳方式应该是逐渐过渡到AGI普及的世界。我们期望的未来，强大的人工智能技术能够加快世界进步的速度，
渐进的方式让大众、政策制定者和研究机构有时间了解AGI技术带来的改变，亲身体验这些系统的好处和缺点，调整经济组织形式，并实施有效监管。
同时，渐进的发展方式还能促使社会和AI共同进步，让人们在风险相对较低的情况下了解自身。
OpenAI认为，成功解决AI应用挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。在新技术的冲击下，社会将面临「人工智能系统被允许做什么、如何消除偏见、如何处理工作岗位流失」等重大问题。
增加AI技术的使用大有裨益，OpenAI希望成为推广该技术的一员，通过将模型放入服务API中，将它们开源等方式实现。
OpenAI表示，随着其开发的系统越来越接近AGI，该机构在模型的创建和部署方面都变得越来越谨慎。
OpenAI需要权衡使用大模型的利弊。一方面，使用先进的大模型标志着重要的科技进展；另一方面，使用模型之后，公司和机构也需要考虑如何限制恶意行为者、避免对社会和经济造成不良影响等问题。
其次，OpenAI正在努力创建更加一致和可控的模型。从GPT-3的第一个版本到InstructGPT和ChatGPT，这一步步的转变都彰显OpenAI在AI安全性方面所做的努力。
值得注意的是，人类社会需要就如何使用人工智能达成极其广泛的界限。随着模型变得更强大，OpenAI将需要开发新的对齐技术。
OpenAI的短期计划是使用AI来帮助人类评估更复杂模型的输出并监控复杂系统，而从长远来看，OpenAI将会使用AI来帮助获得更好的对齐技术。
OpenAI认为，人工智能安全和能力同样重要，二者不应该分开谈论。OpenAI表示其最安全的工作出自其最有能力的模型之手。也就是说，提高人工智能的安全性对AI研究进步非常重要。
第三，OpenAI 希望全球范围内解决三个关键问题：人工智能系统的治理问题，AI系统产生的收益的分配问题，以及访问权限的共享问题。
此外，根据OpenAI公司章程，OpenAI需协助其他组织提高安全性，不能在后期AGI开发中与对手竞争。
OpenAI投资规则中对股东可以获得的回报设定了上限，这样研究机构本身就不会被引诱去尝试无限制地获取价值，也不会冒险使用具有灾难性危险的技术。
OpenAI由非营利组织管理，以保证该机构是为人类的利益而运行，并且可以凌驾于任何营利利益之上。
最后，OpenAI认为全球政府应对超过一定规模的机器学习训练保持监管。
长远目标：更加繁荣的超级智能世界
相比于短期计划，OpenAI的AGI长远发展显得更为宏大。
OpenAI相信人类的未来应该由人类自己决定，与公众分享有关进步的信息至关重要。因此，应该对所有AGI发展项目进行严格审查，并在重大决策上面向公众进行咨询。
在OpenAI看来，第一个AGI只会是人工智能持续发展中的一个小节点，然后从这个节点开始不断衍生出新的进展。公司预测，AI的未来发展可能会在很长一段时间内和我们过去十年的进展速度类似。
也许有一天，世界会发生翻天覆地的变化，科技的进步也可能带给人类很大的风险。一个「错位的」超级智能AGI可能会对世界造成严重的伤害。
因此，OpenAI认为放缓AGI的发展速度更容易确保安全。即使技术的进展让我们有迅速发展AGI的能力，但保持减速能让社会有足够的时间来适应。
成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望，但也最可怕的项目。没人能保证这一天何时到来，但人们已经探明的利害关系有助于将所有人团结起来。
无论如何，那将是一个繁荣到超乎想象的世界。而OpenAI希望为世界贡献一个与这种繁荣相一致的通用人工智能。
ChatGPT预示着一场智力革命
近日，前美国务卿Henry Kissinger、前Alphabet执行董事Eric Schmidt、麻省理工苏世民计算机学院首任院长Daniel Huttenlocher撰写了一篇「ChatGPT预示着一场智力革命」的文章。
文章中透露了他们对当前生成式人工智能的担忧：
生成式人工智能提出了自启蒙运动以来从未经历过的哲学和实践挑战。
文章开头便阐述了当前ChatGPT对人类的影响。
一项新技术旨在改变人类的认知过程，因为它自印刷术发明以来从未动摇过。
1455年印刷古腾堡圣经的技术使抽象的人类思想得以普遍而迅速地传播。但今天的这项新技术逆转了这一过程。
印刷机造成了现代人类思想的大量涌现，而新技术则实现了对它的提炼和阐述。
在这一过程中，它在人类知识和人类理解之间造成了差距。
如果我们要成功地驾驭这种转变，就需要发明人类思想和与机器交互的新概念。这就是人工智能时代的基本挑战。
这项新技术被称为生成性人工智能，最具代表性的便是OpenAI研究实验室开发的ChatGPT。
随着它的能力变得变得更加广泛，它们将重新定义人类的知识，加速我们现实结构的变化，并重组政治和社会。
生成式人工智能同样将为人类理性开辟革命性的道路，为巩固知识开辟新的视野。
但两者之间也存在着明显的区别。启蒙知识是逐步实现的，每一步都是可测和可教的。
AI系统，如ChatGPT，可以存储和提炼大量现有信息，并能够在不解释其过程情况下输出结果，这是人类无法做到的。
此外，人工智能的能力不是一成不变的，而是随着技术的进步呈指数级增长。
我们迫切需要开发一种复杂的辩证法，使人们能够挑战生成式人工智能的交互性，不仅要证明或解释人工智能的答案，还要对其进行审问。
带着一致的怀疑态度，我们应该学会有条不紊地探索人工智能，并评估它的答案是否值得信任，以及在何种程度上值得信任。这将需要有意识地减少我们无意识的偏见，进行严格的训练和大量的实践。
问题仍然存在：我们能不能足够快地学会挑战而不是服从？还是我们最终将不得不服从？我们所认为的错误是故意设计的一部分吗？如果人工智能中出现了恶意的因素怎么办？
另一个关键任务是，反思哪些问题必须留给人类思考，哪些问题可以冒险交给自动化系统。
然而，即使有了强化的怀疑主义和审问技巧，ChatGPT也证明了生成技术的精灵已经离开了瓶子。我们必须对我们所问的问题进行深思熟虑。
随着该技术得到更广泛的理解，它将对国际关系产生深远的影响。除非知识的技术是普遍共享的，否则帝国主义可能专注于获取和垄断数据，以达到人工智能的最新进展。
模型可能会根据收集的数据产生不同的结果。社会的不同演变可能会在日益不同的知识基础的基础上演变，从而对挑战的认识也会不同。
文末提出了让人们值得深思的两个问题：
如果不能完全控制这项技术会怎样？
如果总是有办法编造谎言、制作虚假图片和视频，而人们永远无法学会不相信他们的所见所闻，那该怎么办？
Meta首席AI科学家LeCun回答道，
-人们将学会更好地追踪来源，并评估他们所见所闻的可靠性，这很可能是在新技术的帮助下。
-当前的自回归LLM是出了名的不可控，但新的AI系统在需要时是可控的、真实的并且无毒的。
还有网友引用了Andy Grove的话「有两种选择：适应或死亡」。
要是你会怎么做？
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜推广与求职讨论群
[1]https://openai.com/blog/planning-for-agi-and-beyond/
[2]https://www.wsj.com/articles/chatgpt-heralds-an-intellectual-revolution-enlightenment-artificial-intelligence-homo-technicus-technology-cognition-morality-philosophy-774331c6
[3]https://twitter.com/ericschmidt/status/1629361652574621701
