简单介绍神经网络中不同优化器的数学原理及使用特性【含规律总结】

当涉及到优化器时,我们通常是在解决一个参数优化问题,也就是寻找能够使损失函数最小化的一组参数。当我们在无脑用adam时,有没有斟酌过用这个是否合适,或者说凭经验能够有目的性换用不同的优化器?是否用其他的优化器可以更好的解决问题?那我就介绍解释几种常用的优化器的基本原理:

  1. 随机梯度下降(SGD)

    SGD 是最基本的优化算法之一。它通过计算当前位置的梯度(即损失函数对参数的导数),然后朝着梯度的反方向更新参数。数学上可以表示为:

    w = w − α ⋅ ∇ J ( w ) w=w−α⋅∇J(w) w=wαJ(w)

    其中, w w w 是待优化的参数, α \alpha α 是学习率, ∇ J ( w ) \nabla J(w) J(w) 是损失函数关于参数的梯度。

  2. 动量优化器(Momentum)

    Momentum 在 SGD 的基础上引入了动量项,它可以理解为模拟物体在空间中运动的物理量。这个动量项会考虑之前的更新,从而使更新方向在一定程度上保持一致。数学上可以表示为:

    v = β ⋅ v + ( 1 − β ) ⋅ ∇ J ( w ) v=\beta⋅v+(1−\beta)⋅ \nabla J(w) v=βv+(1β)J(w)

    w = w − α ⋅ v w=w−α⋅v w=wαv

    其中, v v v 是动量, β \beta β 是动量因子,控制之前更新的影响程度。

  3. AdaGrad

    AdaGrad 是自适应学习率的一种算法。它会根据参数的历史梯度调整学习率,使得对于稀疏数据来说可以使用一个更大的学习率,而对于频繁出现的数据则会使用较小的学习率。数学上可以表示为:

    w = w − α G + ϵ ⋅ ∇ J ( w ) w = w - \frac{\alpha}{\sqrt{G + \epsilon}} \cdot \nabla J(w) w=wG+ϵ αJ(w)

    其中, G G G 是梯度的平方和的累积, ϵ \epsilon ϵ 是一个很小的数,防止除零错误。

  4. RMSprop

    RMSprop 是 AdaGrad 的一个变体,它引入了一个衰减系数 β \beta β,用来控制历史梯度的权重。这使得 RMSprop 更加平滑地调整学习率。数学上可以表示为:

    G = β ⋅ G + ( 1 − β ) ⋅ ( ∇ J ( w ) ) 2 G = \beta \cdot G + (1 - \beta) \cdot (\nabla J(w))^2 G=βG+(1β)(J(w))2

    w = w − α G + ϵ ⋅ ∇ J ( w ) w = w - \frac{\alpha}{\sqrt{G + \epsilon}} \cdot \nabla J(w) w=wG+ϵ αJ(w)

    其中, G G G 是平方梯度的指数加权移动平均。

  5. Adam

    Adam 结合了 Momentum 和 RMSprop 的特性,是一种同时考虑动量和自适应学习率的优化器。它可以动态地调整每个参数的学习率,并且可以保持更新方向的一致性。Adam 还引入了偏差修正,以解决初始训练时的偏差问题。数学上可以表示为:

    m = β 1 ⋅ m + ( 1 − β 1 ) ⋅ ∇ J ( w ) m = \beta_1 \cdot m + (1 - \beta_1) \cdot \nabla J(w) m=β1m+(1β1)J(w)

    v = β 2 ⋅ v + ( 1 − β 2 ) ⋅ ( ∇ J ( w ) ) 2 v = \beta_2 \cdot v + (1 - \beta_2) \cdot (\nabla J(w))^2 v=β2v+(1β2)(J(w))2

    m ^ = m 1 − β 1 t \hat{m} = \frac{m}{1 - \beta_1^t} m^=1β1tm

    v ^ = v 1 − β 2 t \hat{v} = \frac{v}{1 - \beta_2^t} v^=1β2tv

    w = w − α v ^ + ϵ ⋅ m ^ w = w - \frac{\alpha}{\sqrt{\hat{v} + \epsilon}} \cdot \hat{m} w=wv^+ϵ αm^

    其中, m m m v v v 分别是动量和平方梯度的移动平均, β 1 \beta_1 β1​ 和 β 2 \beta_2 β2​ 是衰减系数, t t t 是当前迭代次数, ϵ \epsilon ϵ 是避免除零错误的小数。


其实,每种优化器都有其适用的场景,具体的选择需要根据问题的特性和实际实验的结果来决定。
如果你真的对优化器的数学原理不感冒,只是一个最小白的神经网络构建者,那么我尝试总结几条,最浅显易懂的优化器特征,以供查阅:

  1. 随机梯度下降(SGD):这是最基本的优化算法之一,它在每个训练步骤中沿着梯度的反方向更新权重。它有时候可能需要更多的调参工作来获得好的性能。

  2. 动量优化器(Momentum):当需要考虑前一次梯度调整对后续修正的影响时,这个方法不错。Momentum 的参数 momentum 控制了之前梯度的影响程度,一般取值在 0.8 到 0.9 之间。

  3. Adagrad:Adagrad 会为不经常更新的参数提供更大的学习率,适合处理稀疏数据。

  4. RMSprop:与 Adam 类似,RMSprop 也是自适应学习率的一种算法。在一些情况下,它可能会比 Adam 更好。

  5. Adam:Adam 通过自适应调整学习率来提高训练效率。它通常对于大多数问题都是一个良好的默认选择。

  6. Adadelta:Adadelta 是一种自适应学习率的优化器,可以自动调整学习率。

  7. Nadam:Nadam 是结合了 Nesterov 动量的 Adam 变体,通常在训练深度神经网络时表现良好。

  8. FTRL:FTRL 是针对线性模型优化的一种算法,对于大规模线性模型可以很有效。


联系我 交流请署名

你可能感兴趣的:(TD_BrainStrom,神经网络,机器学习,人工智能)