第二门课：改善深层神经网络：超参数调试、正则化以及优化（第二周）——优化算法

1. Mini-batch 梯度下降

在巨大的数据集上进行训练，速度非常慢，如何提高效率？

前面我们学过向量化可以较快的处理整个训练集的数据，但是如果样本非常的大，在进行下一次梯度下降之前，你必须完成前一次的梯度下降。如果我们能先处理一部分数据，算法速度会更快。

把训练集分割为小一点的子集（称之 mini-batch）训练，即Mini-batch 梯度下降。

对比：

• batch 梯度下降法：指的就是前面讲的梯度下降法，每次需要同时处理整个训练集
• mini-batch梯度下降：每次处理的是单个的 mini-batch 训练子集

2. 理解 mini-batch 梯度下降

mini-batch 梯度下降，每次迭代后 cost 不一定是下降的，因为每次迭代都在训练不同的样本子集，但总体趋势应该是下降的。

mini-batch 的 size 大小：

• 大小 = m，就是batch梯度下降法
• 大小 = 1，就是随机梯度下降
  

3. 指数加权平均数

假设， $v_0=0，v_t=\beta \ast v_{t-1}+(1-\beta )\ast {\theta }_t$，选取不同的 $\beta$ 值，得到相应的气温曲线。

4. 理解指数加权平均数

假如$\beta =0.9，t=100$，将上面的带进去求 $v_{100}$

$v_{100}=0.1{\theta }_{100}+0.9{\left(0.1{\theta }_{99}+0.9\left(0.1{\theta }_{98}+0.9v_{97}\right)\right)}_0$
$v_{100}=0.1{\theta }_{100}+0.1\times 0.9{\theta }_{99}+0.1\times (0.9{)}^2{\theta }_{98}+0.1\times (0.9{)}^3{\theta }_{97}+0.1\times (0.9{)}^4{\theta }_{96}+\dots$

好处：代码简单，占用内存极少。

$v_{\theta }=0，v_t:=\beta \ast v_{\theta }+(1-\beta )\ast {\theta }_t$
当然，它并不是最好、最精准的计算平均数的方法。

5. 指数加权平均的偏差修正

6. 动量Momentum梯度下降法

介绍：与 SDG 结合使用的一种常用方法叫做 Momentum。Momentum 不仅会使用当前梯度，还会积累之前的梯度以确定走向。

思想：计算梯度的指数加权平均数，利用该梯度更新权重。

上图情况下，标准的梯度下降会上下波动，且要使用较小的学习率，否则会偏离更远。

如果我们使用过去梯度的加权平均，纵向的就抵消了一些，横向的叠加了一些，可以更平滑的快速找向最优点

$$\begin{array}{rl}{v}_{dW}& =\beta v_{dW}+(1-\beta )dW\\ v_{db}& =\beta v_{db}+(1-\beta )db\\ & \\ W& :=W-\alpha \ast v_{dW}\\ b& :=b-\alpha \ast v_{db}\end{array}$$

• 超参数有 $\alpha ，\beta (\beta$ 经常取 0.9)
• 如果想偏差修正，$v_{dW},v_{db}$ 还要除以 $1-{\beta }^t$，实际上人们不这么做，10次迭代之后，偏差就基本很小了
• 在实际使用过程中，往往会把$(1-\beta )$去掉

动量梯度下降法，并不是对所有情况都有效，它对碗状的优化效果较好

7. RMSprop

全称是 root mean square prop 算法，它也可以加速梯度下降

微分平方的加权平均数：
$$\begin{array}{rl}{S}_{dW}& =\beta S_{dW}+(1-\beta )(dW{)}^2\\ S_{db}& =\beta S_{db}+(1-\beta )(db{)}^2\\ & \\ W& :=W-\alpha \ast \frac{dW}{\sqrt{S_{dW}}+\mathcal{E}}\\ b& :=b-\alpha \ast \frac{db}{\sqrt{S_{db}}+\mathcal{E}}\end{array}$$
$\mathcal{E}=1e^{-8}$ 保证分母不为 0

RMSprop 跟 Momentum 有很相似的一点，可以消除梯度下降和mini-batch梯度下降中的摆动，并允许你使用一个更大的学习率，从而加快你的算法学习速度。

8. Adam 优化算法

Adam (Adaptive Moment Estimation) 优化算法基本上就是将 Momentum 和 RMSprop 结合在一起

初始化：$v_{dW}=0,S_{dW}=0,v_{db}=0,S_{db}=0$

t 次迭代
Momentum：
$$\begin{array}{rl}{v}_{dW}& ={\beta }_1{v}_{dW}+\left(1-{\beta }_1\right)dW\\ v_{db}& ={\beta }_1{v}_{db}+\left(1-{\beta }_1\right)db\end{array}$$
RMSprop：
$$\begin{array}{rl}{S}_{dW}& ={\beta }_2{S}_{dW}+\left(1-{\beta }_2\right)(dW{)}^2\\ S_{db}& ={\beta }_2{S}_{db}+\left(1-{\beta }_2\right)(db{)}^2\end{array}$$

偏差修正：
$$\begin{array}{rl}{v}_{dW}^{\text{corrected }}& =\frac{v_{dW}}{1-{\beta }_1^t}\\ v_{db}^{\text{corrected }}& =\frac{v_{db}}{1-{\beta }_1^t}\\ S_{dW}^{\text{corrected }}& =\frac{S_{dW}}{1-{\beta }_2^t}\\ S_{db}^{\text{corrected }}& =\frac{S_{db}}{1-{\beta }_2^t}\end{array}$$

更新权重：
$$\begin{array}{rl}W& :=W-\alpha \ast \frac{v_{dW}^{\text{corrected }}}{\sqrt{S_{dW}^{\text{corrected }}}+\epsilon }\\ b& :=b-\alpha \ast \frac{v_{\mathrm{d}\mathrm{b}}^{\text{correted }}}{\sqrt{S_{\mathrm{d}\mathrm{b}}^{\text{corrected }}}+\epsilon }\end{array}$$

Adam算法结合了 Momentum 和 RMSprop 梯度下降法，并且是一种极其常用的学习算法
其被证明能有效适用于不同神经网络，适用于广泛的结构

9. 学习率衰减

慢慢减少 学习率 的本质在于，在学习初期，使用较大的步伐，开始收敛的时候，用小一些的学习率能让步伐小一些

• 对不同的 mini-batch 进行训练，一次称之为 epoch
  $$\alpha =\frac{1}{1+\text{ decayRate }\ast \text{ epochNum }}\ast {\alpha }_0$$
  还有些其他的方法:
  $$\begin{array}{c}\alpha =0.95^{\text{epochNum }}{\alpha }_0\\ \alpha =\frac{k}{\sqrt{epochNum}}{\alpha }_0\\ \alpha =\frac{k}{\sqrt{t}}{\alpha }_0,t\text{ 为mini-batch的数字 }\end{array}$$
  还有离散下降学习率, 即 不是每步都下调学习率

10. 局部最优的问题

高维度空间中，我们不太可能遇见（概率很低）如上图所示的局部最优点，因为需要这么多的维度方向上都梯度为 0（概率很低）

所以更有可能遇到的是鞍点

基本不会遇见局部最优问题，可能遇见的是平稳段减缓了学习速度，该区域梯度接近于 0 ，要很长时间才能走出去。Momentum 或 RMSprop，Adam 能够加快速度，让你尽早 走出平稳段。