神经网络的优化算法框架

1、优化算法通用框架

定义; 待优化参数w，目标函数：f(w)， 初始学习率 α α ，开始进行迭代优化，在每个epoch t 中，一般会有四个步骤：

• 计算目标函数关于当前参数的梯度：
  gt=∇f(wt) g t = ∇ f ( w t )
• 根据历史梯度计算第一阶动量和第二阶动量：
  mt=ϕ(g1,g2,g3.....,gt) m t = ϕ ( g 1 , g 2 , g 3 . . . . . , g t )
  Vt=φ(g1,g2,g3.....,gt) V t = φ ( g 1 , g 2 , g 3 . . . . . , g t )
• 计算当前时刻的下降梯度：
  ηt+1=α⋅mt/Vt−−√ η t + 1 = α ⋅ m t / V t
• 根据下降梯度进行更新：
  wt+1=wt−ηt w t + 1 = w t − η t

2、常见的优化算法有哪些？

优化算法一般有两类，一种是固定学习率的优化算法，另一种是自适应学习率的优化算法。
1. 固定学习学习率的优化算法：
SGD，SGD是没有动量的概念，也就是

mt=gt m t = g t

Vt=I2 V t = I 2

带入步骤3，

η=α⋅gt η = α ⋅ g t

SGD最大的缺点是下降速度慢，而且可能会在沟壑的两边持续震荡，停留在一个局部最优点
SGD with Momentum: 为了抑制SGD的震荡，SGDM认为梯度下降过程可以加入惯性。下坡的时候，如果发现是陡坡，那就利用惯性跑的快一些。SGDM全称是SGD with momentum，在SGD基础上引入了一阶动量：

mt=β1⋅mt−1+(1−β1)⋅gt m t = β 1 ⋅ m t − 1 + ( 1 − β 1 ) ⋅ g t

SGD with Nesterow Acceleration (NAG): 改进点在于步骤1。我们知道在时刻t的主要下降方向是由累积动量决定的，自己的梯度方向说了也不算，那与其看当前梯度方向，不如先看看如果跟着累积动量走了一步，那个时候再怎么走。因此，NAG在步骤1，不计算当前位置的梯度方向，而是计算如果按照累积动量走了一步，那个时候的下降方向

gt=∇f(wt−α⋅mt−1/Vt−1−−−−−√) g t = ∇ f ( w t − α ⋅ m t − 1 / V t − 1 )

然后用下一个点的梯度方向，与历史累积动量相结合，计算步骤2中当前时刻的累积动量。

---

2. 自适应学习率的优化算法：

• AdaGrad
  怎么去变量历史更新频率呢？ 那就是二阶动量——该维度上，迄今为止所有梯度值的平方和：

  Vt=∑t=1ng2t V t = ∑ t = 1 n g t 2
  参照框架步骤3： ηt+1=α⋅mt/Vt−−√ η t + 1 = α ⋅ m t / V t 可以看出，此时实质上的学习率由 α α 变成了 α/Vt−−√ α / V t 。 一般为了避免分母为0，会在分母上加一个小的平滑项。因此 Vt−−√ V t 是恒大于0的，而且参数更新越频繁，二阶动量越大，学习率就越小。

  缺点：这一方法在稀疏数据场景下表现非常好。但也存在一些问题：因为是单调递增的，会使得学习率单调递减至0，可能会使得训练过程提前结束，即便后续还有数据也无法学到必要的知识。

• AdaDelta / RMsProp
  由于AdaGrad单调递减的学习率变化过于激进，我们考虑一个改变二阶动量计算方法的策略：不累积全部历史梯度，而只关注过去一段时间窗口的下降梯度。这也就是AdaDelta名称中Delta的来历。
  修改的思路很简单。前面我们讲到，指数移动平均值大约就是过去一段时间的平均值，因此我们用这一方法来计算二阶累积动量：

  Vt=β2∗Vt−1+(1−β2)g2t V t = β 2 ∗ V t − 1 + ( 1 − β 2 ) g t 2
  
  避免了二阶动量持续累积，导致训练过程提前结束的问题。

• Adam
  SGD-M在SGD基础上增加了一阶动量，AdaGrad和AdaDelta在SGD基础上增加了二阶动量。把一阶动量和二阶动量都用起来，就是Adam了——Adaptive + Momentum。
  SGD的一阶动量： mt=β1⋅mt−1+(1−β1)⋅gt m t = β 1 ⋅ m t − 1 + ( 1 − β 1 ) ⋅ g t
  加上AdaDelta的二阶动量： Vt=β2∗Vt−1+(1−β2)g2t V t = β 2 ∗ V t − 1 + ( 1 − β 2 ) g t 2
  β1、β2 β 1 、 β 2 是优化算法里常见的两个超参数，前者控制一阶动量，后者控制二阶动量。实际过程： β1=0.9、β2=0.999 β 1 = 0.9 、 β 2 = 0.999 ，初始化过程中 m0=0,V0=0 m 0 = 0 , V 0 = 0 。
  这个时候我们看到，在初期，都会接近于0，这个估计是有问题的。因此我们常常根据下式进行误差修正：

  mt^=mt/(1−βt1) m t ^ = m t / ( 1 − β 1 t )
  Vt^=Vt/(1−βt2) V t ^ = V t / ( 1 − β 2 t )

• Nadam
  改进步骤一： gt=∇f(wt−α⋅/Vt−−√) g t = ∇ f ( w t − α ⋅ / V t )
  Nesterov + Adam = Nadam，经常有人说 Adam / Nadam 目前最主流、最好用的优化算法了

3、优化算法常用的调参技巧

首先，各大算法孰优孰劣并无定论。如果是刚入门，优先考虑 SGD+Nesterov Momentum或者Adam.（Standford 231n : The two recommended updates to use are either SGD+Nesterov Momentum or Adam）

• 选择你熟悉的算法——这样你可以更加熟练地利用你的经验进行调参。
• 充分了解你的数据——如果模型是非常稀疏的，那么优先考虑自适应学习率的算法。
• 根据你的需求来选择——在模型设计实验过程中，要快速验证新模型的效果，可以先用Adam进行快速实验优化；在模型上线或者结果发布前，可以用精调的SGD进行模型的极致优化。
• 先用小数据集进行实验。有论文研究指出，随机梯度下降算法的收敛速度和数据集的大小的关系不大。（The mathematics of stochastic gradient descent are amazingly independent of the training set size. In particular, the asymptotic SGD convergence rates are independent from the sample size. [2]）因此可以先用一个具有代表性的小数据集进行实验，测试一下最好的优化算法，并通过参数搜索来寻找最优的训练参数。
• 考虑不同算法的组合。先用Adam进行快速下降，而后再换到SGD进行充分的调优。切换策略可以参考本文介绍的方法。
• 数据集一定要充分的打散（shuffle）。这样在使用自适应学习率算法的时候，可以避免某些特征集中出现，而导致的有时学习过度、有时学习不足，使得下降方向出现偏差的问题。
• 训练过程中持续监控训练数据和验证数据上的目标函数值以及精度或者AUC等指标的变化情况。对训练数据的监控是要保证模型进行了充分的训练——下降方向正确，且学习率足够高；对验证数据的监控是为了避免出现过拟合。
• 制定一个合适的学习率衰减策略。可以使用定期衰减策略，比如每过多少个epoch就衰减一次；或者利用精度或者AUC等性能指标来监控，当测试集上的指标不变或者下跌时，就降低学习率。
• 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值
• SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠
• 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。

来自知乎专栏：机器学习炼丹记
作者：Juliuszh
参考文献：
[1] Stanford CS231n Convolutional Neural Networks for Visual Recognition
[2] Stochastic Gradient Descent Tricks.
[3] Efficient BackProp