简述梯度下降法在神经网络中的作用

在已经熟悉神经网络的相关知识的前提下：

使用激活函数以后，除了能将输入信号转换为输出信号以后，还能回传损失函数中的误差，可以使用梯度下降更新权重值，通过计算误差函数E相对于权重参数W的梯度，在损失函数梯度的相反方向上更新权重参数

v2-ad943c338270e34bed0b67222f245168_b.png

上图显示了权重更新过程与梯度矢量误差的方向相反，其中U形曲线为梯度。要注意到，当权重值W太小或太大时，会存在较大的误差，需要更新和优化权重，使其转化为合适值，所以我们试图在与梯度相反的方向找到一个局部最优值

例如

随机梯度下降法作为优化器：（0.01为学习率）

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

Adam优化器：

train_step = tf.train.AdamOptimizer(0.01).minimize(loss)