机器学习——动量与学习率衰减

动量

动量法是梯度下降法的变式，在随机梯度下降的同时，增加动量。
https://blog.csdn.net/weixin_40793406/article/details/84666803

学习率衰减

学习率 (learning rate)
介绍学习率1
https://blog.csdn.net/liulina603/article/details/80604385
学习率 (learning rate)，控制 模型的 学习进度 ：
lr 即 stride (步长) ，即反向传播算法中的 ηη ：
ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn

学习率衰减：
https://zhuanlan.zhihu.com/p/93624972
https://blog.csdn.net/bestrivern/article/details/86301619
指数衰减：https://blog.csdn.net/pengchengliu/article/details/88254234