DL中的各种优化器

学习笔记

BGD (Batch Gradient Decent)批量梯度下降法

1968133328.jpg

SGD (Stochastic Gradient Decent)随机梯度下降法

867810909.jpg

MBGD (Mini Batch Gradient Decent)


1851511481.jpg

Momentum 动量法

460092378.jpg

NAG (Nesterov Accelarated Gradient) 加速梯度下降法

1118211865.jpg

Adagrad

446294705.jpg

Adadelta

1635012168.jpg
1963371273.jpg

RMSprop


图片发自App

图片发自App

Adam


图片发自App

你可能感兴趣的:(DL中的各种优化器)