【深度学习】01-01-课程介绍-李宏毅老师21&22深度学习课程笔记

Prerequisite

Orientation

Assignment Schedule

Machine Learning

Machine Learning ≈ Looking for Function

机器学习：让计算机寻找一个复杂函数式。

Deep Learning

深度学习：让计算机通过神经网络寻找一个复杂函数式。

Different types of Functions

Supervised Learning（Lecture 1-5）

Generative Adversarial Network（Lecture 6）

Supervised Learning 需要成对的（样本，标签）数据集，而 Generative Adversarial Network 只需要样本，和标签，不需要两者之间的关联关系，GAN可以自己找到这种关联关系。

Self-supervised Learning（Lecture 7）

Supervised Learning的缺点是需要对大量样本进行标记，成本很高，而且，为每一个任务收集样本也很麻烦，所以产生了Self-supervised Learning。

Self-supervised Learning 不需要预先对样本进行标注，节省了很大成本。

现在开发一个application很简单，因为与硬件交互的事情都有操作系统帮忙处理，Pre-trained Model（Foundation Model） 可以类比为操作系统，Downstream Tasks 相当于application。

Anomaly Detection（Lecture 8）

Explainable AI（Lecture 9）

Model Attack（Lecture 10）

Domain Adaptation（Lecture 11）

Reinforcement Learning（Lecture 12）

Network Compression（Lecture 13）

Life-long Learning（Lecture 14）

Meta Learning（Lecture 15）

learn to learn