指数加权平均值以及相关算法-exponentially weighted average and momentum

exponentially weighted average

V_i = V_i-1beta - (1-beta)T_i

越早的数据其所占的权重越小，从下图右上角的小图可以看出其每天对应的值（上图）与指数曲线对应的值（下图）进行相乘，所以越靠前的数据，其权重下降的越厉害。

exponentially weighted averages

当beta=0.9时，当计算10天前的数值时，衰减指数函数为0.9¹⁰, 约为0.35或者1/e，这时我们认为再往下计算其权重已经很小了，基本可以忽略了，所以可以近似的认为这个加权平均数就是近10天的平均值

bias correction in exponentially weighted averge

bias correction

如上图中紫线所示，在开始阶段，其平均值远低于其大部分值，并不能真实反映数值的平均情况(原因在于V₀为0时最终导致θ₁ 和θ₂被赋予了一个极小的权重，使得平均值变小，如左下方的示例)。因此我们希望通过某种方式来修正。bias correction就是通过让原先的V_t来除以1-β^t来进行修正， 以t=2为例，最终通过除以0.0396来进行了修正，而当t非常大时，由于β<1, 所以β^t就会接近于0，所以可以忽略了，这样相当于没有修正了。这导致对于初始的平均值更加准确，会形成如图中绿色的平均线。

gradient decent with momentum

gradient decent with momentum

所谓momentum就是在梯度下降时，原先计算w和b时是通过减α*dw来进行更新，现在是通过减α*V_dw来进行更新， 而V_dw就是指数加权平均值，如图所示。

直观理解，原先的梯度下降非常曲折，有很多横向的移动，如图中蓝色的梯度下降曲线，而通过使用指数加权平均值，这种横向的移动被平均了，相互抵消，而纵向的下降还是原先的下降方向，这样就可以像如图红色下降曲线所示可以有更快的下降。

另外，通常的机器学习中β值取0.9比较合适。

RMSprop

RMSprop也是一种加速梯度下降的算法，原理如下图所示：

RMSprop

1. 首先S_dw在计算时使用的是dw² (element wise)，所以最后梯度下降的时候，又开平方根。
2. 通过减去α*dw/sqrt(S_dw)来进行更新dw，同理db也是如此。这样当在某个方向震荡幅度较大时，其对应的S_dw也较大，dw/sqrt(S_dw)就会变小，从而减小这个方向的震荡。
3. 为了避免分母为0的情况，我们通常会为squrt(S_dw)加一个极小的数ɛ，如10^-8