UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS》的翻译。

摘要

大脑定位描述了大脑特定区域与其相应功能之间的联系，在认知科学领域被广泛接受为一个客观事实。今天的大型语言模型（LLM）具有人类水平的语言能力，可以执行需要抽象知识和推理的复杂任务。为了深入理解LLM中智力出现的内在机制，本文以大脑定位为原型进行了类比研究。我们在LLM中发现了一个与语言能力相对应的核心区域，约占整个模型参数的1%。这个核心区域表现出显著的维度依赖性，甚至对特定维度上的单个参数的扰动都可能导致语言能力的丧失。此外，我们观察到，语言能力的提高并不一定伴随着模型知识水平的提高，这可能意味着存在与语言区域分离的领域知识区域。总的来说，探索LLM的功能区域可以深入了解其智力的基础。未来，我们将继续研究LLM中的知识区域以及它们之间的相互作用。

1 引言

2 前言和背景

3 核心语言能力区

4 讨论和未来工作

5 结论

受认知科学研究的启发，本文研究LLM中是否存在特定的功能区域。我们确定了一个专门负责LLM中语言处理的核心区域。该区域仅占模型参数的1%，但在保持模型的整体语言能力方面发挥着至关重要的作用。该区域参数的无效变化会严重损害模型的语言能力。我们还观察到，在语言能力的核心区域存在明显的维度依赖性。令人惊讶的是，在像LLaMA-13B这样拥有130亿个参数的大型模型中，只改变一个参数可能会对其语言能力造成重大损害。本研究进一步阐明了大型语言模型中语言能力与知识之间的关系。我们发现，语言能力的提高并不一定意味着知识水平的提高。这表明LLM中存在独立于语言处理的知识存储区域。总之，本文的发现为大型语言模型中的能力和知识的结构提供了新的线索，并有助于解释为什么这些大型模型的预训练和微调过程与较小的前代模型有显著差异。