梯度下降算法改进

1.动量法

目标:改进梯度下降算法存在的问题,即见效振荡,加速通向谷底。

改进思想:利用累加历史梯度信息更新梯度。

梯度下降算法改进_第1张图片

优势:可以冲出局部最小点和鞍点,找到最优解。

2.自适应梯度

思想:减小振荡方向步长,增大平坦方向步长来减小振荡,加速通往谷底。

梯度下降算法改进_第2张图片

3Adam

梯度下降算法改进_第3张图片

 

你可能感兴趣的:(算法,深度学习,人工智能)