【LLM GPT】大型语言模型 理解和实现

1 概述

怎么学习？——给定输入和输出：

但是这样做不现实，因为这样输入-输出需要成对的资料，而chatgpt 成功解决了这一个难题。

chatgpt不需要成对的资料，只需要一段有用的资料，便可以自己学习内容，如下：

1.1 发展历程

初代和第二代gpt

第二代到第三代

gpt3还会写代码

其性能表现

但是gpt3也有缺点

1.2 预训练+监督学习

想要实现chat的功能，就得经过一个监督式学习（问答），就要在预训练后，增加一个监督学习的流程，赋予模型问答能力：

预训练的好处

在多种语言上做过多训练以后，某一语言的任务会帮助其他语言学会同样的任务。

实验数据如下：

1.3 增强式学习

chatgpt还引入了增强式学习，给好的回答更多奖赏回馈。

1.4 对训练数据的记忆

其能够记得训练数据的部分信息：

1.5 更新参数

可以通过对话改变其记忆：

1.6 AI内容检测

检测某一段文字是否为AI生成的，最简单的做法是这样：

1.7 保护隐私

有时候模型会泄漏训练数据，需要遗忘学习：