优化算法实验比较

最近在学习神经网络的优化算法,发现网上有很多的算法介绍,但是却没有算法实现和实验对比,所以我就用python实现了BGD,SGD,MBGD,Momentum,Nesterov,Adagrad,RMSprop等算法,另外的Adam和NAdam算法是将Momentum,Nesterov,Adagrad几项合并起来的算法,属于工程方面的内容,所以我就没有实现了。

算法原理主要参考文献是:

整体算法参考:[深度解读最流行的优化算法:梯度下降] (https://www.jiqizhixin.com/articles/2016-11-21-4)
整体算法参考:深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
Momentum 算法实现参考: Deep Learning 最优化方法之Nesterov(牛顿动量)

代码地址

https://github.com/20130353/MachineLearning_code/tree/master/optimize_algorithm

实验结果分析

  在小数据集上的收敛速度对比

转载于:https://www.cnblogs.com/x739400043/p/9663047.html

你可能感兴趣的:(优化算法实验比较)