神经网络常见优化算法总结

基于深度学习优化算法进行总结

下述文字可能不是特别准确，但基本可以概括各种方法的直观内核

SGD：普通基于一阶梯度下降算法
$$w_{t+1}=w_t-\eta \nabla$$

AdaGrad：
引入自适应学习率，用普通学习率除以历史梯度的累积均方根来完成对应的学习率自适应
$$w_{t+1}=w_t-\frac{\eta }{\sqrt{{\sum }_i^t{\nabla }_i^2}}\nabla$$

RMSProp：

1. 在AdaGrad的基础上对历史梯度的累积均方根进行指数衰减,自适应调整学习率，
2. 引入动量项，即新的学习方向由历史方向和当前梯度共同决定
   $$w_{t+1}=w_t-\frac{\eta }{\sqrt{r}}\nabla$$
   $$r=\alpha r+(1-\alpha ){\nabla }_i^2$$

Adam：
4. 带衰减的历史梯度的累积均方根自适应调节学习率
5. 由动量项来确定更新方向，新的学习方向由历史方向和当前梯度共同决定
6. 学习率调节参数和动量项都进行修正