深度学习之基础优化算法

梯度下降

        当没有显示解时可采用梯度下降方法找到优化(最常见)

        梯度:函数增长最快方向;负梯度,即下降最快方向,即反方向

深度学习之基础优化算法_第1张图片

 选择学习率

深度学习之基础优化算法_第2张图片

小批量梯度下降(深度学习常用梯度下降方法)

 深度学习之基础优化算法_第3张图片

选择批量大小

深度学习之基础优化算法_第4张图片

总结

深度学习之基础优化算法_第5张图片

 

 

 

你可能感兴趣的:(深度学习,算法,人工智能)