梯度下降方法中的学习率(learning rate), 衰减因子(decay) 冲量(momentum)
本文总结自如下两个链接的内容,建议读者直接阅读链接中的文章1.https://www.jianshu.com/p/58b3fe300ecb2.https://www.jianshu.com/p/d8222a84613c学习率学习率lr(learningrate),梯度下降算法中迭代步长。假设待优化函数为func(x),dx为函数对变量x的导数,即下降方向。每次x的迭代公式为:x=x+-lr*dxl