momentum 深度学习

momentum是用来修改检索方向加快收敛速度的一种简单方法，一般的通过加入之前的梯度来修改更新梯度步长：

                                     

表示当前计算出来的梯度，表示上一次的梯度值，表示本次需要更新的梯度值，α表示momentum系数，是用来加权之前梯度方向对现在梯度下降方向的影响。

一般的momentum系数从0.5--0.99增加。

而在Convolutional Neural Networks for No-Reference Image Quality Assessment中，系数从0.9--0.5递减，其权值更新方式为：

                                      

其中：T是更改momentum系数的迭代次数，在T次迭代中来改变系数。

      re是结束的系数，rs是开始时系数的值