深度学习中的优化器原理(SGD,SGD+Momentum,Adagrad,RMSProp,Adam)
SGD梯度下降记住这里是减去,因为梯度的方向指出了函数再给定上升最快的方向,或者说指引函数值增大的方向,所以我们需要沿着梯度的反方向走,才能尽快达到极小值(使其损失函数最小)。SGD+Momentum加上动量是为了解决在一个方向时,以梯度进行累加以更快的方法达到极值点;而在左右震荡区间内,却一正一负进行抵消,不会出现大幅震荡的情况。需要注意的时:累加的是梯度,震荡的方向的梯度互相抵消,梯度小的方向