python手写神经网络之优化器(Optimizer)SGD、Momentum、Adagrad、RMSProp、Adam实现与对比——《深度学习入门——基于Python的理论与实现(第六章)》
vanilaSGD先不写了,很简单,主要从Momentum开始。老规矩,先手写,再对照书本:其实这个还真难手写出一样的,尤其v的初始化,我就没想到他怎么做。他默认了很多规则在里边,他的v没在init初始化,也不能动态,二是在第一次update时定型。其他方面,有些地方k、v对,其实用k或者v都能达到效果,就不赘述classMomentum():def__init__(self,lr=0.01,mo