深度学习中的优化算法

如何确定mini-batch的大小？

64， 128， 256， 。。。。。。
数据大小适应CPU / GPU内存的大小

Exponentially weighted averages

$$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$$
${\theta }_t$是原始数据，$v_t$是构造的新数据。

加入偏差校正
$$v_t=\frac{v_t}{1-{\beta }^t}$$

动量

$$v=\beta v+(1-\beta )\nabla w$$

$$w=w-\alpha v$$

RMSprop

RMSProp在梯度累积的时候，会对“过去”与“现在”做一个平衡
$${\theta }_t=\beta {\theta }_t+(1+\beta )(\nabla w_t{)}^2$$

$$w_t=w_t-\frac{\alpha }{\sqrt{{\theta }_t+\delta }}\nabla w_t$$

Adam

将动量与RMSprop结合起来。

$$v={\beta }_{1}v+(1-{\beta }_1)\nabla w$$

$$\theta ={\beta }_2\theta +(1-{\beta }_2)(\nabla w{)}^2$$

更新参数
$$w=w-\frac{\alpha }{\sqrt{\theta +\delta }}v$$

开始时梯度会很小，$v$和$\theta$经常会接近0，因此需要进行校正：
$$v=\frac{v}{1-{\beta }_1^t},\theta =\frac{\theta }{1-{\beta }_2^t}$$

Learning rate decay

$$\alpha =\frac{1}{1+decay\_rate\times epoch}{\alpha }_0$$