第2章 梯度下降法

第2章 梯度下降法

深度学习的核心任务就是通过样本数据训练一个函数模型，或者说找到一个最佳的函数表示或刻画这些样本数据。求解最佳的函数模型归结为一个数学优化问题，更准确地说求某种损失函数的最值（极值）问题。深度学习中都是用梯度下降法求解这个最值问题或者说求解模型参数的。

本章从函数极值的必要条件出发介绍了梯度下降法算法的理论根据、算法原理与代码实现，并介绍了梯度下降法中对求解变量（参数）进行更新的不同优化策略。