神经网络优化的步骤以及常用的神经网络优化器

优化神经网络相关的参数:
w表示待优化参数,loss表示损失函数,lr表示学习率,batch表示每次迭代的数据,t表示当前batch迭代的总次数:
神经网络参数优化的步骤:
神经网络优化的步骤以及常用的神经网络优化器_第1张图片

一阶动量:与梯度相关的函数
二阶动量:与梯度平方相关的函数
常用的优化器:
(1)SDG(Stochastic gradient descent):随机梯度下降
没有动量
神经网络优化的步骤以及常用的神经网络优化器_第2张图片

(2)SGDM(含momentum的Stochastic gradient descent),在SGD基础上增加一阶动量。
神经网络优化的步骤以及常用的神经网络优化器_第3张图片

(3)Adagrad,在SGD基础上增加二阶动量
神经网络优化的步骤以及常用的神经网络优化器_第4张图片

(4)RMSProp,在SGD基础上增加二阶动量
神经网络优化的步骤以及常用的神经网络优化器_第5张图片

(5)Adam同时结合SGDM一阶动量和RMSProp二阶动量
神经网络优化的步骤以及常用的神经网络优化器_第6张图片

你可能感兴趣的:(优化器,tensorflow,神经网络,tensorflow)