大模型基础之简要背景知识

【时间线】

词级别模型:Word2Vec 2013:自监督学习

序列级别模型:RNN 2014:监督学习

注意力机制:2015

Transformer模型:2017:容易并行处理、容易堆叠更深的网络

上下文级别模型:ELMo 2018:自监督学习

预训练语言模型:BERT等 2018:自监督学习

大语言模型:GPT等:自监督学习

【大模型惊艳之处】

2018年后预训练大语言模型的文本理解能力在一些测评上首度超越人类。

发现一个趋势:增加参数和数据是进一步提高模型性能的有效手段。

大模型掌握丰富的知识:世界知识、常识、逻辑推理

只需要少量的提示,或者不需要提示,就能激发模型完成指定的任务。

【大模型的调试机理】

预训练+微调

在预训练阶段,预训练语言模型从大规模未标注的数据中捕获了丰富的知识。

然后,我们可以使用特定任务的训练数据来微调预先训练的语言模型,以适应预先训练的知识。

以上思路是不是和迁移学习有些类似。人类可以应用以前学到的知识去高效处理新的问题,现在人们正在赋予机器类似的能力。特征表示迁移和参数迁移都被用于预训练模型的后续工作。

【什么是微调fine-tune】

普通预训练模型的特点是: 用了大型数据集做训练,已经具备了提取浅层基础特征和深层抽象特征的能力。微调的目的是为了减少从头开始消耗的计算量,减少过拟合,再在特定任务上微调,提升准确率。

模型微调(Finetune)_什么是模型微调_cv_lz的博客-CSDN博客

你可能感兴趣的:(LLM,深度学习,机器学习,自然语言处理)