【手写数字识别】之优化算法

1.前提条件

在优化算法之前,需要进行数据处理、设计神经网络结构

2.设置学习率

学习率代表参数更新幅度的大小,即步长。当学习率最优时,模型的有效容量最大

学习率越小,损失函数变化速度越慢,学习率越大,会导致参数在最优解附近震荡,损失难以收敛

3.学习率的主流优化算法

目前四种比较成熟的优化算法:SGD、Momentum、AdaGrad和Adam

【手写数字识别】之优化算法_第1张图片

 

  • SGD: 随机梯度下降算法,每次训练少量数据,抽样偏差导致的参数收敛过程中震荡。

  • Momentum: 引入物理“动量”的概念,累积速度,减少震荡,使参数更新的方向更稳定。

  • AdaGrad: 根据不同参数距离最优解的远近,动态调整学习率。

  • Adam: 由于动量和自适应学习率两个优化思路是正交的,因此可以将两个思路结合起来,

你可能感兴趣的:(笔记,神经网络,深度学习,人工智能)