Instruction finetuning

Instruction finetuning

---

T5，Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，2019

arxiv https://arxiv.org/abs/1910.10683
中译 T5: Text-to-Text Transfer Transformer 阅读笔记 - 知乎
讨论 如何评价 Google 提出的预训练模型 T5？ - 知乎

---

FLAN-T5,

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-CSDN博客

谷歌FLAN-T5作者亲讲：5400亿参数，1800个任务，如何实现大语言模型“自我改进”

 

Flan-T5: One Model for ALL Tasks - 知乎

提出了Flan的微调框架:  统一的输入输出格式（4种类型），引入chain-of-thought，大幅提高任务数量，大幅提高模型规模.

实现了用一个模型来解决超过1800种几乎全部的NLP任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望，即One Model for ALL Tasks。

【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models - 知乎

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-CSDN博客

---