[2022]李宏毅深度学习与机器学习课程内容总结

课程感受

没有想到自己可以完整的看完李宏毅老师的深度学习课程，并且坚持做笔记，这里给自己鼓掌。李宏毅老师讲课风格幽默有趣，让人可以全神贯注的听课。老师讲的课程内容注重基础的同时结合了很多最近几年的论文，非常有深度，让人眼前一亮。整体听完感觉自己收获了很多，所以在这里总结一下课程涉及到的知识内容。

第一讲必修

ML的三个步骤

第一讲选修

深度学习发展趋势

反向传播

从线性模型到神经网络

为什么要用正则化技术

为什么分类是用交叉熵损失函数而不是Square Error

Discriminative Vs Generative

第二讲必修

机器学习的任务攻略

在训练集上损失较大时

应该过拟合的方法

N-fold Cross Validation

local minima 和 saddle point

Small Batch vs Large Batch

Warm up

SGDM优化器

Adagrad

Adam

浅谈机器学习的原理——为什么参数越多越容易overfitting

第二部分选修

SGD

SGDM

Adagrad

RMSProp

Adam

Adam vs SGDM

AMSGrad和AdaBound

RAdam

K-step forward，1 step back

正则化在优化里的应用如果

第三讲CNN

如何理解CNN

整体架构

Spatial Transformer

Deep learning 让鱼和熊掌兼得

解释为什么是deep learn而不是wide learn

第四讲必修Self-attention

Self-attention的具体实现

Self-attention的应用

Self-attention vs CNN

Self-attention vs RNN

Self-attention for Graph

第四讲选修GNN 和 RNN

为什么需要GNN

NN4G

DCNN

MoNET

GTA

GIN

RNN介绍

为什么RNN一开始训练不起来

LSTM

GRU

各式各样的Self-attention

Longformer 和 Big Bird

Reformer

Sinkorn

Linformer

Linear Transformer and Performer

Synthesizer

第五讲必修Transformer

Encoder架构

Layer norm

Decoder

Masked Self-attention

Autoregressive和not Autoregressive

训练的技巧

pointer network

Guided Attention

Beam Search

Scheduled Sampling

第六讲必修GAN

generator

Unconditional generator

Theory Behind

Tips for GAN

WGAN-Wasserstein distance

如何评价GAN

Diversity

Quality

FID

Conditional Generation

GAN+supervised

Cycle GAN的框架

第七讲必修Supervised Learning

Supervised Learning 模型家族

Bert

如何应用到Downstream Tasks

为什么Bert可以工作

为什么是Fine-tune

Multi-lingual Bert多语言的Bert

GPT

Beyond Text

Image-SimCLR

Image-BYOL

How to fine-tune

第八讲必修Auto-Encoder

Auto-Encoder

De-noising Auto-encoder

Feature Disentanglement

Discrete Representation

第九讲必修机器学习可解释性

为什么需要可解释性

Local Explanation

Which component is critical？

How a network processes the input data？

Global Explanation

第十讲必修Adversarial Attack

How to Attack

Attack Approach

Defense

Passive Defense

Proactive Defense

第十一讲必修Domain Adaptation

Domain Shift的类型

Domain Adaptation

Little but labeled

Large amount of unlabeled data

little and Unlabeled

第十二讲Reinforcement Learning RL

What is RL

Policy Gradient

Version 1

Version 2

Version 3

Actor-Critic

Version 3.5

Version 4

Tip of actor-Critic

Reward Shaping

No reward

第十三讲神经网络压缩

Network can be pruned

Why Pruning

Knowledge Distillation

Ensemble

Temperature for softmax

Parameter Quantization

Architecture Design-Depthwise Separable Convolution

Dynamic Computation

第十五讲Meta learning

Meta Learning

ML vs meta learning

What is learnable in learning algorithm？