98. 优化算法

1. 优化问题

98. 优化算法_第1张图片

2. 局部最小 vs 全局最小

3. 凸集

98. 优化算法_第2张图片

4. 凸函数

5. 凸函数优化

98. 优化算法_第3张图片

6. 凸和非凸例子

98. 优化算法_第4张图片

7. 梯度下降

98. 优化算法_第5张图片

8. 随机梯度下降

9. 小批量随机梯度下降

10. 冲量法

11. Adam

98. 优化算法_第6张图片
98. 优化算法_第7张图片

12. 总结

  • 深度学习模型大多是非凸
  • 小批量随机梯度下降是最常用的优化算法
  • 冲量对梯度做平滑
  • Adam对梯度做平滑,且对梯度的各个维度值做重新调整

你可能感兴趣的:(深度学习,算法,人工智能,深度学习)