优化算法，理解指数加权平均

image.png

从图可以看出经过指数加权平均计算后的值，比原有的要平滑一些。可以想象到，梯度要平滑一些。在做 mini-batch梯度下降的时候，梯度的表现是这样的，

image.png

。如果通过指数加权平均使得梯度计算的时候更加平滑，但是整体趋势还是往函数收敛的方向走。运行效率就会增加。同时指数加权并不会占用很大的内存和计算量。
超参数beta的值，可以预估平均了多少个数。1/(1-beta)。当beta=0.9,值等于10,就表示平均了10个数。当 beta越大，平均的数量就越大。。使得函数在初期的预估值不是很准，但是越往后越准。。这里再配合mini-batch时候，每个批次数量和beta就存在一些关系。当batch-size=128的时候，beta=0.98，这个时候平均50个数据量，使得这个批次的梯度计算时候，收集了50个样本后才开始接近真实的梯度，就显得浪费了50个样本。。（个人理解）

https://www.jianshu.com/p/41218cb5e099?utm_source=oschina-app