Meta AI 宣布对人脑和语言处理进行长期研究

人类的大脑长期以来一直是一个难题——它是如何发展的，它如何继续进化，它被开发和未开发的能力。

人工智能 (AI) 和机器学习 (ML) 模型也是如此。

正如人类大脑创建的 AI 和 ML 模型日益复杂一样，这些系统现在也被用于研究人类大脑本身。具体来说，此类研究正在寻求增强人工智能系统的能力，并更紧密地模仿大脑功能，以便它们能够以越来越自主的方式运行。

Meta AI 的研究人员已经着手开展一项这样的计划。Facebook 母公司的研究部门近日宣布了一项长期研究，以更好地了解人类大脑如何处理语言。研究人员正在研究大脑和 AI 语言模型如何对相同的口头或书面句子做出反应。

Meta AI 的高级研究科学家 Jean-Rémi King 说：「我们正试图将人工智能系统与大脑进行比较。」

他指出，口语使人类变得独特，理解大脑如何工作仍然是一个挑战，也是一个持续的过程。潜在的问题是：「是什么让人类比这些机器更强大或更高效？我们不仅要找出相似之处，还要找出剩余的差异。」

    脑成像和人类水平的 AI

Meta AI 正在与位于巴黎的脑成像创新研究中心 NeuroSpin (CEA) 和法国国家数字科学技术研究所（INRIA）合作。这项工作是 Meta AI 更广泛关注人类水平人工智能的一部分，这种人工智能可以在几乎没有人监督的情况下学习。

通过更好地了解人类大脑如何处理语言，研究人员假设他们可以收集有助于指导人工智能发展的见解，这些人工智能可以像人类一样有效地学习和处理语音。

「开发、训练和使用特殊的学习算法来执行各种各样的任务变得越来越容易，」King 说。「但这些人工智能系统距离人脑的效率还很远。很明显，这些系统缺少一些能够更有效地理解和学习语言的东西，至少和人类一样有效。这显然是一个价值百万美元的问题。」

在深度学习中，多层神经网络协同工作来学习。这种方法已应用于 Meta AI 研究人员的工作，以突出在志愿者阅读或收听故事时，何时何地在大脑中生成单词和句子的感知表示。

在过去的两年中，研究人员将深度学习技术应用于公共神经影像数据集，这些数据集是从志愿者的磁共振成像 (MRI) 和计算机断层扫描 (CT) 扫描中的大脑活动图像中挑选出来的。这些由普林斯顿大学和马克斯·普朗克心理语言学研究所等多个学术机构收集和共享。

该团队对数千个此类脑部扫描进行了建模，同时还应用了脑磁图 (MEG) 扫描仪以每毫秒捕获一次图像。他们与 INRIA 合作，将各种语言模型与 345 名志愿者在听复杂叙述时用功能磁共振成像 (fMRI) 记录的大脑反应进行了比较。

然后将阅读或呈现给人类受试者的相同叙述呈现给人工智能系统。「我们可以比较这两组数据，看看它们何时何地匹配或不匹配，」King 说。

    迄今为止研究人员的发现

研究人员已经得出了有价值的见解。值得注意的是，最接近大脑活动的语言模型是那些最能从上下文（context）中预测下一个单词的模型（例如「在一个黑暗和暴风雨的夜晚……」或「从前……」），King 解释说。这种基于部分可观察输入的预测是人工智能自我监督学习 (SSL) 的核心。

尽管如此，大脑的特定区域仍能提前很久地预测单词和想法——而相比之下，语言模型通常被训练来预测下一个单词。他们在预测复杂的想法、情节和叙述方面的能力有限。

「（人类）系统地预测接下来会发生什么，」King说。「但这不仅仅是单词级别的预测，而是更抽象的级别。」

进一步对比，人脑可以用几百万个句子学习，并且可以在其数万亿个突触之间不断地适应和存储信息。与此同时，人工智能语言模型经过数十亿个句子的训练，可以参数化多达 1750 亿个人工突触。

King 指出，婴儿接触到成千上万的句子并且可以快速理解语言。例如，从几个例子中，孩子们就知道「橙色」既可以指水果，也可以指颜色。但是现代人工智能系统在这项任务上遇到了麻烦。

「很明显，今天的人工智能系统，无论它们多么好或多么令人印象深刻，也是极其低效的，」King 说。虽然人工智能模型正在执行越来越复杂的任务，但「很明显，它们在许多方面并不能广泛地理解事物。」

为了进一步完善他们的研究，Meta AI 研究人员和 NeuroSpin 现在正在创建一个原始的神经影像数据集。这与代码、深度学习模型和研究论文一起将被开源，以帮助在人工智能和神经科学领域进一步发现。「我们的想法是提供一系列工具，供我们在学术界和其他领域的同事使用和利用，」King 说。

他说，通过更深入地研究长期预测能力，研究人员可以帮助改进现代人工智能语言模型。用长期预测增强算法可以帮助它们与大脑更加相关。

King 强调，「现在很清楚的是，这些系统可以与人脑相比，而在几年前还不是这样。」

他补充说，科学进步需要将神经科学和人工智能学科结合起来。随着时间的推移，它们将发展得更加紧密和协作。

 

「神经科学和人工智能之间的这种交流不仅仅是与抽象思想的隐喻交流，」King 说。「它变得非常具体。我们试图了解什么是架构，大脑中的学习原理是什么？我们正在尝试将这些架构和这些原则应用到我们的模型中。」