深度学习-优化算法与梯度下降

前置知识

指数移动平均EMA

• 给予近期数据更高权重的平均方法
  $$V_t=\alpha \cdot x_t+(1-\alpha )\cdot V_{t-1}$$

L2正则（L2 Regularization)

• 约束 weights 不要太大
  $$L^{\prime }=L+\frac{1}{2}\lambda \cdot \sum _{i=1}^n{w}_t^2$$

权重衰减（Weight Decay)

$$w_t=(1-\lambda )\cdot w_{t-1}-\mu \cdot g$$

优化器

SDG

• mini-batch gradient descent：随机选一批量
• 亲戚1：batch gradient descent：全部
• 亲戚2：stochatic gradient descent:随机选一个
  $$w_{t+1}=w_t-\eta \cdot \nabla J(w_t)$$

Momentum

• 动量
• 利用EMA融入历史的梯度
• 原理：将历史梯度和当前梯度做合并
  $$v_t=\gamma \cdot v_{t-1}+(1-\gamma )\ast J(w_t)$$
  $$w_t=w_{t-1}-\mu \ast v_t$$

NAG

• 改进（Nesterov accelerated gradient)
• 原理：先按照历史梯度走一小步，然后再进行合并
  $$v_{t+1}=\gamma \cdot v_t+\nabla J(w_t-\alpha \cdot \gamma \cdot v_t)$$
  $$w_{t+1}=w_t-\alpha v_{t+1}$$

Adagrad

• 历史梯度+当前梯度的平方
• 对学习率进行约束
• 前期较小的时候，r较大，能放大梯度
• 后期较大的时候，r较小，能约束梯度

$$g_{t+1}=g_t+(\nabla J(w_t){)}^2$$
$$w_{t+1}=w_t-\frac{\eta }{\sqrt{g_{t+1}+ϵ}}\cdot \nabla J(w_t)$$

RMSProp

• 在Adagrad上加上EMA思想
  $$g_{t+1}=\rho g_t+(1-\rho )(\nabla J(w_t){)}^2$$
  $$w_{t+1}=w_t-\frac{\eta }{\sqrt{g_{t+1}+ϵ}}\cdot \nabla J(w_t)$$

AdaDelta

• 也是在Adagrad上进行改进，不需要提前设置学习率
• 原理尽可能听，听不懂也没关系

$$\Delta w_t=-\frac{\sqrt{\Delta w_{t-1}+ϵ}}{\sqrt{g_{t+1}+ϵ}}\cdot \nabla J(w_t)$$

Adam

• 用EMA更新梯度，用RMSProp更新学习率，然后进行修正，来避免冷启动，避免训练开始时梯度很小，参数更新很慢

$$m_{t+1}={\beta }_1{m}_t+(1-{\beta }_1)\nabla J(w_t)$$
$$v_{t+1}={\beta }_2{v}_t+(1-{\beta }_2)(\nabla J(w_t){)}^2$$
$${\hat{m}}_{t+1}=\frac{mt+1}{1-{\beta }_1^{t+1}}$$
$${\hat{v}}_{t+1}=\frac{vt+1}{1-{\beta }_2^{t+1}}$$
$$w_{t+1}=w_t-\frac{\eta }{\sqrt{{\hat{v}}_{t+1}}+ϵ}\cdot {\hat{m}}_{t+1}$$

AdamW

• 数学推导比AdaDelta还难，改进好Adam几乎一样

综上

• 如果追求优化器效果，直接使用AdamW

学习率

StepLR

• 等间隔调整学习率
  

MultiStepLR

• 给定间隔调整学习率

Exponential

• 调整策略上带上指数项
  

CosineAnealing

• 余弦周期调整学习率
• 比较有助于跳出局部极小值
  

RLROP（ReduceLRonPlateau)

• 非常实用
• 监控Loss和acc如果不再变化就进行学习率调整

lambda

• 自定义调整策略

总结

• 有序调整：前4个
• 自适应调整：RLROP
• 自定义调整
  随机梯度下降去优化你的人生-李沐