[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)

PDF VIDEO

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)

PDF VIDEO

Recipe of Deep Learning

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第1张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第2张图片
这里写图片描述

在 training data上的performance不好

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第3张图片
这里写图片描述

Deeper usually does not imply better

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第4张图片
这里写图片描述

Vanishing Gradient Problem

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第5张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第6张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第7张图片
这里写图片描述

ReLU(Rectified Linear Unit)

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第8张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第9张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第10张图片
这里写图片描述

ReLU - variant

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第11张图片
这里写图片描述

那么除了ReLU有没有别的activation function了呢?
所以我们用 Maxout来根据training data自动生成activation function

ReLU is a special cases of Maxout


Maxout

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第12张图片
这里写图片描述

ReLU is a special cases of Maxout

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第13张图片
这里写图片描述

More than ReLU

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第14张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第15张图片
这里写图片描述

Maxout - Training

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第16张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第17张图片
这里写图片描述

Adaptive Learning Rate

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第18张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第19张图片
这里写图片描述

RMSProp

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第20张图片
这里写图片描述

Hard to find optimal network parameters

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第21张图片
这里写图片描述

Momentum(gradient descent 融入惯性作用)

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第22张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第23张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第24张图片
这里写图片描述

所以,加了momentum后:

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第25张图片
这里写图片描述

Adam

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第26张图片
这里写图片描述

在testing data上performance不好

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第27张图片
这里写图片描述

Early Stopping

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第28张图片
这里写图片描述

Regularization

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第29张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第30张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第31张图片
这里写图片描述

Regularization - Weight Decay

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第32张图片
这里写图片描述

Dropout

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第33张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第34张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第35张图片
这里写图片描述

Dropout- Intuitive Reason

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第36张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第37张图片
这里写图片描述

Dropout is a kind of ensemble

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第38张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第39张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第40张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第41张图片
这里写图片描述

[机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士)_第42张图片
这里写图片描述

你可能感兴趣的:([机器学习入门] 李宏毅机器学习笔记-10 (Tips for Deep Learning;深度学习小贴士))