GPT革命：关于GPT近期发展的三个预测

预测是一件很容易打脸的事情，但记录自己的预测并检查是否正确是一种有效的学习方式（德鲁克说过类似的话），GPT就是通过不断的预测下一个token获得了这样的超能力，所以要想进步就得预测。

昨晚我在朋友圈说感觉最近对GPT发展的预测还挺准的

那就再来做三个预测吧。以下三个是我觉得OpenAI近期（GPT-4.5之前，三个月之内）会解决的问题。

一、长期记忆

GPT的Transformer架构的计算性能和参数规模及上下文大小强相关，而为了进一步加强模型能力，参数规模还在继续扩大，据说GPT-4的参数量约1万亿，大概是3.5的6倍，这决定了单个任务的上下文大小很难快速增加，从GPT-4的定价远比GPT-3.5贵可以看出这个问题并非那么好解决。但从实用角度，对上下文大小的需求又是接近无限的，你肯定希望能够不断的去训练它的各项能力，就像教育一个孩子长大成人一样。

因此，GPT迫切需要引入一种长期记忆机制。任务的上下文仅仅是working memory，长期记忆机制相当于程序的外存。GPT在执行过程中，可以“聪明”地将一些暂时不需要的上下文存入长期记忆，在需要的时候再把它重新加载进上下文。

实现机制是很成熟的，通过语义做向量embedding即可在需要时找回曾经的记忆，就是现在类似LangChain项目用来做文档库问答的常规套路，但预计GPT很快会内置提供这一机制，而且是以一种用户无感知的方式实现（其实现在的GPT有没有实现这一点也不好讲）。

二、算术增强

算术是GPT最明显的短板。GPT的很多理解和推理过程都很正确，就是一到算术就容易犯傻（一般三位数乘法就算不对了），很有点“阴沟里翻船”的感觉，很容易给用户产生“GPT也太傻了”的感觉。预计GPT会很快解决这一问题，因为实现应该很简单，比如参照Code Interpreter的思路，把算式转化为对应的Python代码，执行Python来得出结果。

三、群体智能

GPT既然可以通过插件访问外部能力，那么实现多个GPT会话进行协作也就没有任何技术上的困难，因为每个会话天然就提供了API。此外，GPT的长期记忆机制也可以提供会话之间的通信手段。每一个GPT会话就是一个智能体（Agent），还可以相互协作。诸如蜂群这样的简单个体通过自组织协作都能发挥出令人赞叹的群体智慧，一群个个都已经非常智能的GPT组织起来将发挥出什么样的智能水平将极其考验我们的想象力。比如我们可以事先“养好”一些具备各种不同的特种能力的GPT Agent，如果一个任务需要多种特种能力配合才能完成，那通过Agent之间的相互调用就可以更好、更高效的完成任务。这些特种能力也很可能是由不同的专家“教育”出来的，比如财务专家教出懂财务的Agent，销售专家教出懂销售的Agent，那么通过两个Agent之间的协作就既懂财务又懂销售了。

在GPT内置提供这些能力之前，算术增强可能可以通过prompt解决，长期记忆可以使用LangChain这样的机制在上层解决，群体智能可能可以通过编写封装OpenAI API的插件解决。所以，很可能在GPT提供这些能力之前，我们也是可以去实验使用这些能力的。

在我们的产品、业务、工作中怎么使用这些能力呢？在新技术面前最需要的是想象力。