【深度学习实验】网络优化与正则化(二):基于自适应学习率的优化算法详解:Adagrad、Adadelta、RMSprop
文章目录一、实验介绍二、实验环境1.配置虚拟环境2.库版本介绍三、实验内容0.导入必要的库1.随机梯度下降SGD算法a.PyTorch中的SGD优化器b.使用SGD优化器的前馈神经网络2.随机梯度下降的改进方法a.学习率调整b.梯度估计修正3.梯度估计修正:动量法Momentum4.自适应学习率Adagrad算法Adadelta算法RMSprop算法算法测试5.代码整合(以RMSprop算法为例)