预训练模型（8）---- T5: Text-To-Text Transfer Transformer

论文链接：

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

代码链接：

https://github.com/google-research/text-to-text-transfer-transformer

其实在ELECTRA 之前我就看到了T5，这个模型可以用一个字来总结，那就是“大”。不仅模型很大，而且实验超多（70多个），文章还巨长（34页），此时不得不感叹谷歌的财大气粗。

其实T5简单的说就是将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。

想了解更多的细节就看下下面的两个链接吧，看完之后应该会被震撼到。

T5 模型：NLP Text-to-Text 预训练模型超大规模探索

T5: Text-To-Text Transfer Transformer