关于预训练模型的一点感悟

最近，Yann LeCun 在 WGS 上说：

目前的LLM不可能走到AGI，原因很简单，现在训练这些LLM所使用的数据量为10万亿个令牌，也就是130亿个词，如果你计算人类阅读这些数据需要多长时间，一个人每天阅读8小时，需要15万年才能读完。

但如果看一个4岁的孩子，已经清醒了总共16,000个小时，但如果你计算进入视觉皮层的数据量，大约每秒20兆字节，那么4年输入的数据量，将是目前最大的LLM的50倍。因此，仅通过在文本上训练AI，永远无法达到人类水平智能。

文本是一个非常贫瘠的信息来源，带宽非常低，只反映了人类知识的很小一部分。人类的大部分知识来自于我们与真实世界、与他人以及其他世界实体的互动，而不是来自语言。

在AI取得真正的进步之前，我们需要一些突破。这个突破将从哪里来？可能是科学层面，不会仅仅通过扩展现有的架构规模并在更多数据上训练它们就能实现。

首先，随着我们增加LLM的数据量，性能正在趋于饱和，我们没有更多的数据，已经用完了互联网上的所有公开数据，所以这行不通（不认可合成数据？）。婴儿大约只需要九个月就能学会直觉物理学，即物体如果没有支撑物就会因为重力而掉落，他们使用的是哪种学习方式，这仍然是一个谜，我们正在努力解决这个问题，但还需要一段时间。”

打个可能不太恰当的比方，婴儿的大脑更像是预训练模型，人类亿万年的进化史给每个人提供了通用智能模型，每一个人究其一生只是在通用智能模型的基础之上作微调和对齐。