优化算法SGD+Momentum、AdaGrad、RMSprop、Adam——史上超级全，解释详细

鞍点既不是极大值也不是极小值的临界点，一个方向是极小值，另一个方向是极大值，

2.一维问题中：局部极小值和鞍点的梯度均为0

高维问题中：从局部极小值点向附近任意方向运动，损失函数都会增大很多；若从鞍点出发，会存在许多方向向上增大的情况。这个问题在参数量大的神经网络愈发凸显，局部极小值问题反而少一些。

大部分点集中在鞍点附近，故在靠近鞍点附近移动时，前进都会非常缓慢。

为了解决2.问题，加入了一个带动量的SGD，即SGD+Momentum：有机会跳出局部最小值点

有梯度噪声存在时，动量会使曲线更加平稳的到达最小值点，而不会直线之字形曲线，因为加入动量会使得有效减少朝敏感方向增加。

在速度的方向上向前走，而不是在梯度的方向上向前走。超参数rho与摩擦系数相关，即每一步都使用旧的速度然后通过摩擦系数衰减，然后再加上当前的梯度，可以看作是最近梯度平均的平滑移动。并且在梯度上有一个能够及时回来的指数衰减权重。

形式如下：
$$\begin{gathered} v_{t+1}=\rho v_t+▽f(x_t) \\ {x}_{t+1}=x_t-\alpha v_{t+1} \end{gathered}$$

加入了动量以后，下降速度会超快，而且通过梯度为零的局部最优和鞍点，仍旧有速度。

如何处理条件比较差的点，当梯度比较小时，如果p表现很好，那么就会快速通过条件比较差的点。

1.高条件数问题：该点是海森矩阵最大奇异值和最小奇异值之比，在某个方向敏感，但在其他方向则不敏感。

出现Nesterov Momentum：不会那么剧烈的通过局部极小值点

在取得速度的方向上继续走，若速度有一点点的速度，加入梯度信息。

$$\begin{gathered} v_{t+1}=\rho v_t-\alpha ▽f(x_t+\rho v_t) \\ {x}_{t+1}=x_t+v_{t+1} \end{gathered}$$

无法同时计算损失函数和梯度，用还原法改进此公式得到
$$\begin{gathered} x_t=x_t+\rho v_t \\ {v}_{t+1}=\rho v_t-\alpha ▽f(x_t) \\ {x}_{t+1}=x_t+v_{t+1}+\rho (v_{t+1}-v_t) \end{gathered}$$
对比之前的，有一定的正修正，且不会如此激烈地越过局部极小值点

如果经过两边坡度极陡的局部极小点，那么是否有足够的速度爬出这个局部极小点（坏点）呢？

事实上，出现这样的情况，代表你的数据已经过拟合了，若提高训练集的数量，如此窄的也会消失。

AdaGrad：可以更好的避开鞍点

其实是收集梯度地平方项，然后再去除以这个梯度平方项总和，这会导致梯度较小的地方，除后的数反而变大，即加速在梯度维度上的学习速度，反之变化小，随着时间的递增，步长会逐渐减小，这在凸函数中理论证明是有效的。
$$\begin{gathered} grad\_squared=0 \\ whileTrue: \\ dx=computer\_gradient(x) \\ grad\_squared+=dx\ast dx \\ x-=learning\_rate\ast dx/(np.sqrt(grad\_squared)+1e-7) \end{gathered}$$

但是随着时间的增加，你会逐渐慢下来，然后收敛，因为梯度平方项累加是不断增大的。

变形得到RMSProp:加上了动量

并不是给梯度本身加上了动量，而是给梯度平方项加上了动量，改进的目的是让grad_squared按照一定比率下降。
$$\begin{gathered} grad\_squared=0 \\ whileTrue: \\ dx=computer\_gradient(x) \\ grad\_squared+=decay\_rate\ast grad\_squared+(1-decay\_rate)\ast dx\ast dx \\ x-=learning\_rate\ast dx/(np.sqrt(grad\_squared)+1e-7) \end{gathered}$$

由于梯度平方项被衰减，可能造成训练总是一直变慢，但是它可以在每一个维度进行调整，在每个维度上做优化，更好的避开鞍点。

结合RMSProp和动量 Adam:

$$\begin{gathered} grad\_squared=0 \\ grad\_squared2=0 \\ whileTrue: \\ dx=computer\_gradient(x) \\ grad\_squared+=decay\_rate1\ast grad\_squared+(1-decay\_rate1)\ast dx \\ grad\_squared2+=decay\_rate2\ast grad\_squared2+(1-decay\_rate2)\ast dx\ast dx \\ x-=learning\_rate\ast grad\_squared/(np.sqrt(grad\_squared2)+1e-7) \end{gathered}$$

N-Adam：RMSProp+Nesterov Momentum