梯度下降算法

一、什么叫梯度

说到梯度下降算法先说一下什么叫梯度，百度百科解释：
在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅可比矩阵的一个特殊情况。
在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。
梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的点积来得到斜度。梯度的数值有时也被称为梯度

二、梯度下降算法

梯度下降是一种以通过在目标函数梯度

的反向上更新模型参数，来最小化模型参数的目标函数

的方法。学习速率

决定了我们前往（局部）极小值的步长。换言之，我们沿着目标函数所构造曲面的斜面按向下的方向走动，直到我们到达山谷。如果你对梯度下降不熟悉，你可以点击此处 点击打开链接去了解一篇关于优化神经网络的介绍。