深度学习: 模型优化算法

优化算法 类型

优化算法 类型 包括 一阶优化法 和 二阶优化法：

	一阶优化法	二阶优化法
具体算法	随机梯度下降法、基于动量的随机梯度下降法、Nesterov型动量随机下降法、Adagrad法、Adadelta法、RMSProp法、Adam法	牛顿法
计算难度	较易	难
运用程度	主流	少有人用

一阶优化法 对比

		随机梯度下降法	基于动量的随机梯度下降法	Nesterov型动量随机下降法	Adagrad法	Adadelta法	RMSProp法	Adam法
运用程度		最广
训练速度	慢			快	快	快	快
模型结果	可靠	可靠

随机梯度下降法、基于动量的随机梯度下降法 和 Nesterov型动量随机下降法 彼此性能相近；
Adagrad法、Adadelta法、RMSProp法 和 Adam法 彼此性能相近。

一阶优化法

$\omega$ ：待学习参数；
$\eta$ ：学习率；
$g$ ：一阶梯度值；
$t$ ：第$t$轮训练。

随机梯度下降法

随机梯度下降算法，Stochastic Gradient Descent，简称 SGD 。

$${\omega }_t\leftarrow {\omega }_{t-1}-\eta \cdot g$$

基于动量的随机梯度下降法

由于SGD更新时可能出现 振荡 ，遂通过 累积前几轮的动量 (momentum) 信息 来 辅助参数更新：

$$v_t\leftarrow \mu \cdot v_{t-1}-\eta \cdot g$$

$${\omega }_t\leftarrow {\omega }_{t-1}+v_t$$

$\mu$ ：动量因子，控制动量信息对整体梯度更新的影响程度。设置方法分为 静态 (始终为 0.9) 和 动态 (初始为 0.5，逐渐增长为 0.9 或 0.99) 。

Nesterov型动量随机下降法

较罕见，遂略过。

Adagrad法

根据训练轮数的不同，对学习率进行动态调整：

$${\eta }_t\leftarrow \frac{{\eta }_{global}}{\sqrt{{\sum }_{t\prime =1}^t{g}_{t^{\prime }}^2+ϵ}}\cdot g_t$$

${\eta }_{global}$ ：全局学习率 (必须提前指定) ；
$ϵ$ ：防止分母为0。

初始时，${\eta }_t$ 接近于 ${\eta }_{global}$ ，随着 ${\sum }_{t\prime =1}^t{g}_{t^{\prime }}^2$ 的不断增大，${\eta }_t$ 渐渐趋近于 0 。

Adadelta法

Adadelta法 在 Adagrad法 的 基础上，通过引入衰减因子 $\rho$ ，使得 $g$ 也和 ${\eta }_{global}$ 一起来对 ${\eta }_t$ 施加影响，防止 ${\eta }_{global}$ 垄断：

$$r_t\leftarrow \rho \cdot r_{t-1}+(1-\rho )\cdot g^2$$

$${\eta }_t\leftarrow \frac{\sqrt{s_{t-1}+ϵ}}{\sqrt{r_t+ϵ}}$$

$$s_t\leftarrow \rho \cdot s_{t-1}+(1-\rho )\cdot ({\eta }_t\cdot g{)}^2$$

$\rho$ ：衰减因子，取值范围 [0, 1] ，值越大越促进网络更新，推荐为 0.95 ；
$ϵ$ ：防止为 0，推荐为 $10^{-6}$ 。

RMSProp法

较罕见，遂略过。

Adam法

在 RMSProp法 基础上 加上了 动量项 。

利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。

Adam和Nadam是前述方法的集大成者：SGD-M在SGD基础上增加了一阶动量，AdaGrad和AdaDelta在SGD基础上增加了二阶动量。把一阶动量和二阶动量都用起来，就是Adam了——Adaptive + Momentum。

优点：
经过偏置校正后，每一次迭代学习率都有一个确定范围，这样可以使得参数更新比较平稳。

---

[1] 解析卷积神经网络—深度学习实践手册
[2] 卷积神经网络中的优化算法比较