【深度学习】吴恩达-学习笔记 优化算法(动量梯度,RMSprop,Adam)、参数初始化、Batch Norm
目录动量梯度下降法:让梯度下降的过程中纵向波动减小RMSprop:消除梯度下降中的摆动Adam优化算法:神经网络参数初始化学习率衰减BatchNorm关于Batch_norm:Batch_norm在测试时:动量梯度下降法:让梯度下降的过程中纵向波动减小动量梯度下降法采用累积梯度来代替当前时刻的梯度。直观来讲,动量方法类似把球推下山,球在下坡时积累动力,在途中速度越来越快,如果某些参数在连续时间内梯