Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Abstract

本文提出了一种将所有基于文本的语言问题转化为统一的 text-to-text 格式的框架。并且在数十种语言理解任务上系统化地比较了：

• pre-training objectives
• acchitectures
• unlabled data sets
• transfer approches
• other factors

结合上述探索中得到的洞见以及规模上的扩展，加上新的 C4（Colossal Clean Crawled Corpus） 数据集，我们在多项任务上取得了 SOTA 效果。

论文代码： https://github.com/google-research/text-to-text-transfer-transformer
数据集： https://www.tensorflow.org/datasets/catalog/c4

Introduction

值得注意的是，我们并不是提出一个方法，而是提供一个全面的视角来审视迁移学习。

Setup

我们的框架称为 T5 (Text-to-Text Tr