大模型基础之简要背景知识

【时间线】

词级别模型：Word2Vec 2013：自监督学习

序列级别模型：RNN 2014：监督学习

注意力机制：2015

Transformer模型：2017：容易并行处理、容易堆叠更深的网络

上下文级别模型：ELMo 2018：自监督学习

预训练语言模型：BERT等 2018：自监督学习

大语言模型：GPT等：自监督学习

【大模型惊艳之处】

2018年后预训练大语言模型的文本理解能力在一些测评上首度超越人类。

发现一个趋势：增加参数和数据是进一步提高模型性能的有效手段。

大模型掌握丰富的知识：世界知识、常识、逻辑推理

只需要少量的提示，或者不需要提示，就能激发模型完成指定的任务。

【大模型的调试机理】

预训练+微调

在预训练阶段，预训练语言模型从大规模未标注的数据中捕获了丰富的知识。

然后，我们可以使用特定任务的训练数据来微调预先训练的语言模型，以适应预先训练的知识。

以上思路是不是和迁移学习有些类似。人类可以应用以前学到的知识去高效处理新的问题，现在人们正在赋予机器类似的能力。特征表示迁移和参数迁移都被用于预训练模型的后续工作。

【什么是微调fine-tune】

普通预训练模型的特点是： 用了大型数据集做训练，已经具备了提取浅层基础特征和深层抽象特征的能力。微调的目的是为了减少从头开始消耗的计算量，减少过拟合，再在特定任务上微调，提升准确率。

模型微调（Finetune）_什么是模型微调_cv_lz的博客-CSDN博客