优化器：SGD with Momentum

（1）指数加权平均：一种近似求平均的方法，公式如下：

代表局部的平均值。代表第t个数据的值。是可调节超参。可近似为前个数据的的平均值。

举例说明，设，则近似代表近10个数据的平均值：

指数递减的加权的移动平均，越近期的数据加权越大。对原始数据做了平滑，降低了原始数据的震荡程度，怎么看是前多少个数据的平均值呢，n通过得到。

（2）SGD with Momentum

采用上述指数加权平均的思路，在SGD中增加动量的概念，使得前几轮的梯度也会加入到当前的计算中（会有一定衰减），通过对前面一部分梯度的指数加权平均使得梯度下降过程更加平滑，减少动荡，收敛也比普通的SGD快。当前梯度方向与累计梯度方向一致时，梯度会被加强，从而这一步下降幅度增大，若方向不一致，则会减弱当前下降的梯度幅度。

是当前梯度值，常设为0.9，也就是前10个梯度的平均值。参数的更新公式如下：