李宏毅2023春季机器学习笔记 - 01生成AI（ChatGPT）

一、引言

预设的知识储备要求：数学（微积分、线性代数、机率）；编程能力（读写python）

这门课专注在 深度学习领域deep learning，

事实上深度学习在今天的整个机器学习（ML）的领域使用非常广泛，可以说是最受重视的一项ML技术。

这门课可以作为你的机器学习的第一堂课，修完后可以更深入的把这个技术，用在你未来感兴趣的领域。

 

 

 课程录像和作业：

 

如果 只凭google colab可以取得及格的成绩，基本上如果有越多的运算资源，越有机会在这门课取得比较好的成绩。

要做机器学习、尤其是深度学习相关的任务，运算资源往往是非常重要的。

---

二、【生成式AI】ChatGPT原理剖析

2022.11.30，被公开

1. 对ChatGPT的常见误解：

 

 

  输出机率分布，之后取样

2. Chat-GPT怎么被训练出来的：（原理）

Chat-GPT背后的关键技术：预训练（Pre-train）。又叫督导式学习（Self-supervised Learning）、基石模型（Foundation Model）

一般机器是怎样学习的？ 督导式学习

  怎么通过成对资料（督导式学习），机器自动寻找函式f，本课程后面会学习。

 但仅仅这样做，能力很有限，因为成对资料非常有限。