Pytorch:动量与学习率

(1)动量:momentum,也可以说是惯性

w^{k+1}= w^{k}-\alpha \bigtriangledown f\left ( w^{k} \right ),经过z^{k+1}=\beta z^{k}+\bigtriangledown f\left ( w^{k} \right )变为w^{k+1}=w^{k}-\alpha z^{k+1}

也就是说,权值w现在不只想着\bigtriangledown f的方向衰减,也向着

你可能感兴趣的:(pytorch,算法,人工智能)