机器学习李宏毅学习笔记37

---

前言

ChatGPT简单原理介绍

---

一、ChatGPT做的事情

Chatgpt以句子为输入，输出这个句子后面接的词汇的概率分布，给每一个可能的符号一个概率，根据这个分布进行sample，每次sample出来的词汇可能都是不一样的，所以答案每次也都不相同。把输出的词汇加在输入给gpt的句子后面，重复上面的过程，直到最后出现一个符号代表结束。

在一个对话过程中，输入不仅是现在输入的句子，还包含过去所有的互动。
同时GPT在训练时是联网的，但是在测试时，是没有联网的，所以输出的很多结果比如网址、序列号等都是错误的，只是GPT瞎编出来的。

二、ChatGPT基础介绍

ChatGPT关键技术：预训练Pre-train
预训练也可以叫做自监督式学习Self-supervised Learning或基石模型（Foundation Model），成对资料通过无痛生成的叫做自监督式学习。ChatGPT是由GPT微调而来，GPT就是ChatGPT的基石。
G:Generative
P:Pre-train
T:Transformer

人类可以提供的成对资料相对来说是少的，GPT的获取成对资料的方式是通过获取网络上的句子，这些句子拆分成两部分，网络上的所有句子都可以是资料。

透过大量网络学习的过程是预训练，得到GPT，ChatGPT是GPT经过监督式学习的结果。这个继续学习的过程也就是微调（Finetune）

增强式学习适用于某些人类都不知道答案的情况下，只需要人类只需要评价这个答案的好坏就可以。

三、ChatGPT带来的研究问题

1.如何精准提出需求
先要对chatgpt进行催眠（prompting），比如请想象这类的描述。

2.如何更正错误->neural editing
比如发生在2022年的事情，GPT无法得出结果。如果那新的答案再去训练接龙，更新参数，可能会发生弄对一个答案，但是弄错更多答案的情况。

3.侦测AI生成的软件
如何用模型侦测一段文字是否是AI生成的

4.泄露秘密
对chatgpt绕着弯的诱导，是可以获得某些隐私答案，当然这些答案可能是错误的。

---

总结

学习视频地址：
1
https://www.bilibili.com/video/BV1TD4y137mP?p=2&vd_source=3a369b537e1d34ff9ba8f8ab23afedec
2
https://www.bilibili.com/video/BV1TD4y137mP?p=3&vd_source=3a369b537e1d34ff9ba8f8ab23afedec
3
https://www.bilibili.com/video/BV1TD4y137mP?p=4&vd_source=3a369b537e1d34ff9ba8f8ab23afedec