Parameter-Efficient Transfer Learning for NLP

Abstract

对大型预训练模型进行 fine-tune 是 NLP 领域一个有效的迁移学习机制。然而在面临大量的下游任务是，fine-tuning 是 parameter inefficient 的，因为每个下游任务都需要一整个模型。

我们提出可以使用 Adapter 模块来进行迁移学习。Adapter 模块可以得到一个紧凑和可扩展的模型。对于每个下游任务，只需要添加少量可训练参数，并且添加一个新任务不用改变之前的任务。原始模型的参数保持不变，使得参数可以高度共享。

为了说明 Adapter 的有效性，我们将 BERT Transformer 模型迁移到 26 个不同的文本分类任务，包括 GLUE benchmark. Adapter 只需要为每个任务添加少量参数就能获得接近 SOTA 的性能。

Introduction

对预训练模型进行迁移在很多 NLP 任务上取得了很好的效果（如 GPT）. BERT 在文本分类和抽取式问答上取得了 SOTA 效果。

本文主要面对在线场景，在这种情况下，任务是流式到达的。目标是 build 一个系统，可以在所有的任务上都表现不错，但是不用为每个任务训练一整个模型。任务之间参数的共度共享对于云服务来说特别有用，因为在这种情况下模型需要解决来自不同客户的多种任务。

我们提出的方法特定是 compact 和 extensible.