台大李宏毅老师——深度学习 课程笔记 三 (Optimization)

文章目录

  • 概述
  • SGD
  • SGD with Momentum
  • Nesterov accelerated gradient (NAG)
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam
  • Real application
  • Towards Adam
  • Towards SGDM

概述

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第1张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第2张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第3张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第4张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第5张图片

SGD

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第6张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第7张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第8张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第9张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第10张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第11张图片

SGD with Momentum

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第12张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第13张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第14张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第15张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第16张图片

Nesterov accelerated gradient (NAG)

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第17张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第18张图片

Adagrad

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第19张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第20张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第21张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第22张图片

这里有一个问题,如果一开始梯度就很大,那么它没走几步就卡住了,所以需要RMSProp。

Adadelta

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第23张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第24张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第25张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第26张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第27张图片

RMSProp

在这里插入图片描述
RMSProp结合了Adagrad和Momentum。
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第28张图片

Adam

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第29张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第30张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第31张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第32张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第33张图片

Real application

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第34张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第35张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第36张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第37张图片
为什么从2014到现在都没有更多的optmizaer呢?
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第38张图片
因为Adam和SGDM把低垂的果实都摘了,后面的优化方法都没有更好的超过他们。
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第39张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第40张图片
Adam更快,不稳定。SGDM慢一些,但是稳定。
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第41张图片
SWATS比较鸡肋,是先Adam后SGDM。但是实际很难把控。

Towards Adam

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第42张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第43张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第44张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第45张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第46张图片

Towards SGDM

台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第47张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第48张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第49张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第50张图片
台大李宏毅老师——深度学习 课程笔记 三 (Optimization)_第51张图片

你可能感兴趣的:(深度学习,深度学习,人工智能,css)