神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现

神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现

    • 一、SGD
    • 二、Momentum-动量
    • 三、AdaGrad
    • 四、Adam

一、SGD

神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现_第1张图片

右边的值更新左边的值,每次更新朝着梯度方向前进一小步。

class SGD:

    """随机梯度下降法(Stochastic Gradient Descent)"""

    def __init__(self, lr

你可能感兴趣的:(学习笔记,python,机器学习,神经网络)