When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

本文是LLM系列的文章，针对《When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale》的翻译。

摘要

近年来，大量的文本数据对大型语言模型（LLM）的发展做出了重大贡献。这些数据通常是通过抓取互联网来获取的，从而产生由嘈杂的网络文本组成的预训练数据集。到目前为止，将这些数据集精简为更高质量的子集的努力依赖于手工制作的启发式算法，这些启发式算法被编码为基于规则的过滤器。在这项工作中，我们从更广泛的角度出发，探索了可扩展的数据质量估计，可用于系统地测量预训练数据的质量。我们在困惑的简单数据质量估计器的规模上进行了严格的比较，以及误差L2范数和记忆的更复杂和计算密集的估计。这些度量用于对预训练语料库进行排序和修剪，然后我们比较在这些修剪后的数据集上训练的LLM。令人惊讶的是，我们发现简单的困惑技术优于我们计算成本更高的评分方法。在对原始训练数据集的30%进行训练的同时，我们在无修剪基线的基础上进行了改进。我们的工作为自动管理高质量语料库的未探索策略奠定了基础，并表明在保持性能的同时，可以删除大多数预训练数据。

1 引言

2 方法

3 实验

4 结果和讨论

5 相关工作

6 结论

在这项研究中，我们深入研究了用于预训练具有数十亿参数和包含数十亿token的数据集的LLM的各种数据修剪方法。我们表明，如果应用得当，数据修剪可以持续提高模型性能。我们还发现，在数据集中“最简单”的示例上进行训练会降低性能，其中“最容易”被定义为根据基于参考模型的度量的得分最低的示例。与记忆等更精细的方法相比，根据困惑程度对实例进行排序的简单方法表现出更高的性能。与在完整数据集上训练的模型相比，在困惑选择的数据中只训练了一半的模型，可以实现高达1.5%的改进。此外，随着模型规模的扩大，我们建立了研究结果的一致性。虽然扩大LLM训练的数据量仍然是改进模型的一条流行途径，但我们的工作表明，仔细修剪这些大型训练语料库也是改进模型的富有成效的方向。