[2022]李宏毅深度学习与机器学习课程内容总结

[2022]李宏毅深度学习与机器学习课程内容总结

  • 课程感受
  • 第一讲必修
    • ML的三个步骤
  • 第一讲选修
    • 深度学习发展趋势
    • 反向传播
    • 从线性模型到神经网络
    • 为什么要用正则化技术
    • 为什么分类是用交叉熵损失函数而不是Square Error
    • Discriminative Vs Generative
  • 第二讲必修
    • 机器学习的任务攻略
    • 在训练集上损失较大时
    • 应该过拟合的方法
    • N-fold Cross Validation
    • local minima 和 saddle point
    • Small Batch vs Large Batch
    • Warm up
    • SGDM优化器
    • Adagrad
    • Adam
    • 浅谈机器学习的原理——为什么参数越多越容易overfitting
  • 第二部分选修
    • SGD
    • SGDM
    • Adagrad
    • RMSProp
    • Adam
    • Adam vs SGDM
    • AMSGrad和AdaBound
    • RAdam
    • K-step forward,1 step back
    • 正则化在优化里的应用如果
  • 第三讲CNN
    • 如何理解CNN
    • 整体架构
    • Spatial Transformer
  • Deep learning 让鱼和熊掌兼得
    • 解释为什么是deep learn而不是wide learn
  • 第四讲必修Self-attention
    • Self-attention的具体实现
    • Self-attention的应用
    • Self-attention vs CNN
    • Self-attention vs RNN
    • Self-attention for Graph
  • 第四讲选修GNN 和 RNN
    • 为什么需要GNN
    • NN4G
    • DCNN
    • MoNET
    • GTA
    • GIN
    • RNN介绍
    • 为什么RNN一开始训练不起来
    • LSTM
    • GRU
    • 各式各样的Self-attention
    • Longformer 和 Big Bird
    • Reformer
    • Sinkorn
    • Linformer
    • Linear Transformer and Performer
    • Synthesizer
  • 第五讲必修Transformer
    • Encoder架构
    • Layer norm
    • Decoder
    • Masked Self-attention
    • Autoregressive和not Autoregressive
    • 训练的技巧
      • pointer network
      • Guided Attention
      • Beam Search
      • Scheduled Sampling
  • 第六讲必修GAN
    • generator
      • Unconditional generator
    • Theory Behind
    • Tips for GAN
      • WGAN-Wasserstein distance
    • 如何评价GAN
      • Diversity
      • Quality
      • FID
    • Conditional Generation
    • GAN+supervised
    • Cycle GAN的框架
  • 第七讲必修Supervised Learning
    • Supervised Learning 模型家族
    • Bert
    • 如何应用到Downstream Tasks
    • 为什么Bert可以工作
    • 为什么是Fine-tune
    • Multi-lingual Bert多语言的Bert
    • GPT
    • Beyond Text
      • Image-SimCLR
      • Image-BYOL
    • How to fine-tune
  • 第八讲必修Auto-Encoder
    • Auto-Encoder
    • De-noising Auto-encoder
    • Feature Disentanglement
    • Discrete Representation
  • 第九讲必修机器学习可解释性
    • 为什么需要可解释性
    • Local Explanation
      • Which component is critical?
      • How a network processes the input data?
    • Global Explanation
  • 第十讲必修Adversarial Attack
    • How to Attack
    • Attack Approach
    • Defense
      • Passive Defense
      • Proactive Defense
  • 第十一讲必修Domain Adaptation
    • Domain Shift的类型
    • Domain Adaptation
      • Little but labeled
      • Large amount of unlabeled data
      • little and Unlabeled
  • 第十二讲Reinforcement Learning RL
    • What is RL
    • Policy Gradient
      • Version 1
      • Version 2
      • Version 3
    • Actor-Critic
      • Version 3.5
      • Version 4
      • Tip of actor-Critic
    • Reward Shaping
    • No reward
  • 第十三讲神经网络压缩
    • Network can be pruned
      • Why Pruning
    • Knowledge Distillation
      • Ensemble
      • Temperature for softmax
    • Parameter Quantization
    • Architecture Design-Depthwise Separable Convolution
    • Dynamic Computation
  • 第十五讲Meta learning
    • Meta Learning
    • ML vs meta learning
    • What is learnable in learning algorithm?

课程感受

没有想到自己可以完整的看完李宏毅老师的深度学习课程,并且坚持做笔记,这里给自己鼓掌。李宏毅老师讲课风格幽默有趣,让人可以全神贯注的听课。老师讲的课程内容注重基础的同时结合了很多最近几年的论文,非常有深度,让人眼前一亮。整体听完感觉自己收获了很多,所以在这里总结一下课程涉及到的知识内容。

第一讲必修

ML的三个步骤

第一讲选修

深度学习发展趋势

反向传播

从线性模型到神经网络

为什么要用正则化技术

为什么分类是用交叉熵损失函数而不是Square Error

Discriminative Vs Generative

第二讲必修

机器学习的任务攻略

在训练集上损失较大时

应该过拟合的方法

N-fold Cross Validation

local minima 和 saddle point

Small Batch vs Large Batch

Warm up

SGDM优化器

Adagrad

Adam

浅谈机器学习的原理——为什么参数越多越容易overfitting

第二部分选修

SGD

SGDM

Adagrad

RMSProp

Adam

Adam vs SGDM

AMSGrad和AdaBound

RAdam

K-step forward,1 step back

[2022]李宏毅深度学习与机器学习课程内容总结_第1张图片

正则化在优化里的应用如果

第三讲CNN

如何理解CNN

整体架构

Spatial Transformer

Deep learning 让鱼和熊掌兼得

解释为什么是deep learn而不是wide learn

第四讲必修Self-attention

Self-attention的具体实现

Self-attention的应用

Self-attention vs CNN

Self-attention vs RNN

Self-attention for Graph

第四讲选修GNN 和 RNN

为什么需要GNN

NN4G

DCNN

MoNET

GTA

GIN

RNN介绍

为什么RNN一开始训练不起来

LSTM

GRU

各式各样的Self-attention

[2022]李宏毅深度学习与机器学习课程内容总结_第2张图片

Longformer 和 Big Bird

Reformer

Sinkorn

Linformer

Linear Transformer and Performer

Synthesizer

第五讲必修Transformer

Encoder架构

Layer norm

Decoder

Masked Self-attention

Autoregressive和not Autoregressive

训练的技巧

pointer network

Guided Attention

Beam Search

Scheduled Sampling

第六讲必修GAN

generator

Unconditional generator

Theory Behind

Tips for GAN

WGAN-Wasserstein distance

如何评价GAN

Diversity

Quality

FID

Conditional Generation

GAN+supervised

Cycle GAN的框架

第七讲必修Supervised Learning

Supervised Learning 模型家族

Bert

如何应用到Downstream Tasks

为什么Bert可以工作

为什么是Fine-tune

Multi-lingual Bert多语言的Bert

GPT

Beyond Text

Image-SimCLR

Image-BYOL

How to fine-tune

第八讲必修Auto-Encoder

Auto-Encoder

De-noising Auto-encoder

Feature Disentanglement

Discrete Representation

第九讲必修机器学习可解释性

为什么需要可解释性

Local Explanation

Which component is critical?

How a network processes the input data?

Global Explanation

第十讲必修Adversarial Attack

How to Attack

Attack Approach

Defense

Passive Defense

Proactive Defense

第十一讲必修Domain Adaptation

Domain Shift的类型

Domain Adaptation

Little but labeled

Large amount of unlabeled data

little and Unlabeled

第十二讲Reinforcement Learning RL

What is RL

Policy Gradient

Version 1

Version 2

Version 3

Actor-Critic

Version 3.5

Version 4

Tip of actor-Critic

Reward Shaping

No reward

第十三讲神经网络压缩

Network can be pruned

Why Pruning

Knowledge Distillation

Ensemble

Temperature for softmax

Parameter Quantization

Architecture Design-Depthwise Separable Convolution

Dynamic Computation

第十五讲Meta learning

Meta Learning

ML vs meta learning

What is learnable in learning algorithm?

你可能感兴趣的:(深度学习,李宏毅深度学习笔记,深度学习,人工智能)