Pytorch Note16 优化算法2 动量法(Momentum)

Pytorch Note16 优化算法2 动量法(Momentum)

文章目录

  • Pytorch Note16 优化算法2 动量法(Momentum)
    • 动量法(Momentum)
    • Momentum
    • Nesterov Accelerated Gradient
    • 代码从0实现
    • pytorch 内置优化器
    • 对比 动量 + 不加动量 的 SGD
    • 可视化

全部笔记的汇总贴: Pytorch Note 快乐星球

动量法(Momentum)

SGD 在 ravines 的情况下容易被困住, ravines 就是曲面的一个方向比另一个方向更陡,这时 SGD 会发生震荡而迟迟不能接近极小值:
Pytorch Note16 优化算法2 动量法(Momentum)_第1张图片

你可能感兴趣的:(Pytorch学习及笔记,深度学习,神经网络,人工智能,pytorch)