OPenAi首席科学家：只要能预测下一个token，就能帮助人类创建AGI

在2023年的人工智能圈子里，前OpenAI首席科学家Ilya虽然在与奥特曼的宫斗大戏中以失败退居幕后为终，但他仍是主角之一。想象一下这样的场景：Ilya突然接到一个电话。“恭喜你，你被《自然》杂志评为‘2023年十大科学家’！”但有个转折 —— 伊利亚回应道：“采访？不了，谢谢！”就连他的推特都像是在说：“《自然》杂志是谁？尽管他拒绝了采访，《自然》杂志还是对他大加赞扬，称他为AI界的先知。在Ilya看来，人工智能有能力改变整个人类文明的存在方式，而不是像OpenAI出现之前那样，只是帮人类解决一些小问题。

「只要能够非常好的预测下一个token，就能帮助人类创建AGI。」

在播客里，Ilya深入探讨了他对于大语言模型的观点，他认为大模型虽然主要功能是预测下一个字符，但其潜力却可能超越人类智慧的总和。Ilya指出，许多人认为大模型只是通过统计方法模仿人类现有的知识和能力，因此无法超越人类。然而，如果我们的基础神经网络足够智能，我们只需要向它提问——一个具有卓越洞察力、智慧和能力的人会怎么做？也许这样的人物并不存在，但神经网络有可能推断出这样的人物可能会采取的行为。这就将人工智能（AGI）的任务转变为预测这样一个可能会做出什么行为的人。那么，准确预测下一个字符意味着什么呢？这实际上是一个比字面意思更深刻的问题。

准确预测下一个token意味着你理解了这个token产生的潜在现实。

就像在统计学中，为了理解这些统计数据并对其进行压缩，我们需要了解这些统计数据所反映的世界是什么。如果AGI的目标是准确预测人类行为，那么人类行为是由什么决定的呢？每个人都有自己的想法和感受，并以特定的方式行事。所有这些都可以从对下一个token的预测中推断出来。Ilya认为，只要能够准确预测下一个token，AI就有可能推测出一个具有卓越洞察力、智慧和能力的人可能会采取的行为，即使这样的人实际上不存在。

到2030年，AI能产生多大的经济价值？

这个问题嘛，就像猜谜语一样，答案只有天知道。但是，我觉得如果AI没能产生太大的经济价值，最可能的原因就是——可靠性！那么，我们离AGI还有多远呢？我们可以通过观察特斯拉在自动驾驶方面的进展，来感受一下这个技术的挑战性。现在，我们的AI模型可能还处于一个“看似能处理所有问题，但实际上还需要解决很多问题”的阶段。就像特斯拉一样，虽然他们的自动驾驶技术已经能做到很多事情，但是在可靠性方面还有很长的路要走。

在达到AGI之前，你觉得我们还需要有像Transformer这样的突破出现吗？还是现有的技术已经能让我们达到AGI了？

我们可以想象一下，如果有一天我们真的达到了AGI，那一定是一个非常酷的时刻！现在不同的公司分头发展自己的模型，未来不同的模型和技术会相互独立还是走到某一个共同的点呢？我相信随着技术的发展，不同的研究小组或者项目会选择不同的路径和方法，但是一旦这些长期的工作开始显现成果，这个领域又会重新趋向于收敛。

OpenAI为什么放弃了机器人的方向呢？

我觉得过去机器人技术的难点在于数据量太少，这使得发展很受限。以前要进入这个领域，必须加入一家专门的机器人公司，而且还需要一个庞大的团队来构建和维护机器人。但是现在的情况有所不同了，已经存在开辟新道路的可能性。但是这需要人们真正投入到机器人技术的研发中，建造成千上万的机器人，从它们那里收集数据，并找到一种逐步改进的方法，让机器人能够执行一些基本有用的任务。随着数据的积累，可以训练出更加高效的模型，使机器人能够执行更复杂的任务。这是一个循序渐进的改进过程，需要建造更多机器人，收集更多数据。为了实现机器人技术的发展，必须全身心投入，并愿意解决所有相关的物理和后勤问题。这与纯粹的软件开发完全不同。只要有足够的努力和热情，机器人技术是有可能取得重大进步的，而且已经有一些公司在这方面做出了努力。