ConPET: Continual Parameter-Efficient Tuning for Large Language Models

本文是LLM系列文章，针对《ConPET: Continual Parameter-Efficient Tuning for Large Language Models》的翻译。

摘要

持续学习需要不断调整模型以适应新出现的任务，同时尽量减少对旧任务的灾难性遗忘。由于高计算成本、内存消耗和遗忘问题，这对于具有全参数调优的大型语言模型(llm)来说是极具挑战性的。受参数有效调整(PET)成功的启发，我们提出了连续参数有效调整(ConPET)，这是一种用于具有任务数无关训练复杂度的llm的持续任务自适应的可推广范例。ConPET包括两个不同应用场景的版本。首先，静态ConPET可以通过PET和动态重播策略，将原来为相对较小的模型设计的持续学习方法适应于llm，大大降低了调优成本，缓解了过度拟合和遗忘问题。此外，为了保持可扩展性，Dynamic ConPET为不同的任务采用单独的PET模块，并采用PET模块选择器进行动态优化选择。在我们广泛的实验中，静态ConPET的适应性帮助多种以前的方法将可调参数的规模减少了3000倍以上，并在五个较小的基准上超过pet基线至少5个点，而动态ConPET在最大的数据集上获得优势。代码和数据集可在https://github.com/Raincleared-Song/ConPET上获得。

1 引言

2 相关工作

3 提出的方法

4 实验

5 结论与未来工作

在本文中，我们主要讨论了llm对连续下游任务序列的高效自适应。为了实现这一目标，我们提出了ConPET范式，包括两个训练复杂度与任务数无关的版本。静态ConPET通过节省成本的PET和对过拟合和遗忘更具鲁棒性的动态采样策略，使以前基于记忆的方法适应于llm。相比之下，Dynamic ConPET由于其动态moe风格的体系结构，更易于扩展到具有大规模数据和任务模式的场景。实验证明了ConPET中使用的关键技术的有效性和合理性，大大降低了调整成本。在未来，我们将把ConPET扩展到更多样化的持续学习场景(例如，异构工具的持续学习)，并通过探索更明智的任务分割策略进一步改进我们的范式。