优化算法总结

SGD（Stochastic Gradient Descent）：随机梯度下降，每一次计算mini-batch的平均梯度，然后更新参数

降低方差类

SAG（Stochastic Average Gradient）：随机平均梯度，该算法的梯度更新公式为：
$$w^{k+1}=w^k-\frac{{\alpha }_k}{k}\sum _{j=1}^k{g}_{i_j}(w^j)$$
不同于SGD，SAG额外记录了一张以往的梯度更新表，在迭代的过程中，不断地记录当前参数下的梯度，且在当前步进行参数更新时，选取的梯度是过去所记录的所有梯度的平均值。

SVRG（Stochastic Variance Reduction Gradient）：随机方差下降，该算法旨在减小梯度的方差，其梯度更新公式如下：
$$w^k=w^{k-1}-\alpha (g_i(w^{k-1})-g_i(\tilde{w})+\tilde{\mu })$$
其伪代码为：

相比于SAG，SVRG不需要存储以往的所有梯度，而是只需要记录上一次的梯度$\tilde{w}$，因此减少了内存消耗，但是在每一个阶段，SVRG都需要计算一次全局平均梯度$\tilde{\mu }$，增大了计算量。

增加收敛速率类

Momentum：考虑物理学中的动量，将之前的梯度数据也参与到当前的梯度计算中，可以加快收敛速度，其迭代公式为：
$$\begin{gathered} v_k=\gamma v_{k-1}-\alpha g(w_{k-1}) \\ {w}_k=w_{k-1}+v_k \end{gathered}$$
其中$v_0$初始为0，动量系数$\gamma$一般设置为0.9。动量系数大于1，则会发生梯度爆炸；动量系数太接近于1，历史梯度方向对梯度更新方向的影响会过大，若方向发生转折，就无法快速的转弯；动量系数过小，则收敛速度较慢。

NAG（Nesterov’s Accelerated Gradient）：该算法相比于Momentum多了一个“超前”的眼光，即每一步迭代都先按照历史梯度（动量）的方向超前走一步，然后计算该“超前点”的梯度来作为该步的当前梯度。其迭代公式为：
$$\begin{gathered} v_k=\gamma v_{k-1}-\alpha g(w_{k-1}+\gamma v_{k-1}) \\ {w}_k=w_{k-1}+v_k \end{gathered}$$
Adagrad（Adaptive Gradient）：自适应梯度算法，该算法能够在训练中自动对学习率进行调整。其迭代公式为：
$$w_i^{k+1}=w_i^k-\frac{\alpha }{\sqrt{G_{i,t}}+ϵ}{g}_i(w^k)$$
$t$代表每一次迭代，$ϵ$一般是一个极小值常数，用来防止分母为0。$G_{i,t}$表示了前$t$个迭代步参数$w_i$梯度的平方累加。把之前的梯度累加的平方根作为正则项，其作用为：训练前期，正则项较小，则放大了梯度，加速了梯度下降过程；训练后期，正则项较大，缩小了梯度，减慢了梯度下降过程。

Adam（Adaptive Moment Estimation）：该算法可以看作是RMSprop和Momentum的结合，其迭代公式为：
$$\begin{gathered} m^k={\beta }_1{m}^{k-1}+(1-{\beta }_1)g(w^k) \\ {v}^k={\beta }_2{v}^{k-1}+(1-{\beta }_2)[g(w^k){]}^2 \\ {M}^k=\frac{m^k}{1-{\beta }_1^k}({\beta }_1^k中的k为k次方的意思) \\ {V}^k=\frac{v^k}{1-{\beta }_2^k}({\beta }_2^k中的k为k次方的意思) \\ {w}^k=w^{k-1}-\frac{\alpha }{\sqrt{V^k}+ϵ}{M}^k \end{gathered}$$
实现代码为：

Adam利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，在经过偏置的校正后，每一次迭代后的学习率都有个确定的范围，使得参数更新较为平稳。