深度学习笔记(8.DNN优化算法)

前言

DNN中引入mini_batch方法，学习了gd、momentum、RMSprop和Adam优化算法。在原DNN实现（包括正则化）中，添加优化算法。
程序地址：https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes

公式

公式和程序对比在前一篇文章中已经写到，公式和程序基本一样。
https://blog.csdn.net/bjjoy2009/article/details/101001991
详情请查看github代码：
(1)dnn_v4.py : DNN网络的构建和训练
(2)optimizer_class.py : 不同优化算法参数初始化和梯度下降
(3)dnn_optimization.py : 实验程序
下面代码是模型训练，添加了红色框（不同算法初始化参数），蓝色框（把数据集分块程序提出来），绿色框（不同算法update parameters）

运行结果

和课件给的相同

结论

为了和课件保持一致，调了好久。主要是各个代码块散落的np.random.seed()。由于dnn_v4.py里边代码太长，自己调试时候翻着有点费劲，把优化算法相关的内容放到了optimizer_class.py里边。