神经网络的学习步骤

前提

神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程成为“学习”。神经网络的学习分成下面4个步骤。

步骤1（mini-batch）

从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标是减少mini-batch的损失函数的值。

步骤2（计算梯度）

为了减少mini-batch损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数值减少最多的方向。

步骤3（更新参数）

将权重参数沿梯度方向进行微小更新。

步骤4（重复）

重复步骤1，2，3.

这个方法通过梯度下降法进行更新参数，使用的数据是随机选择的mini batch数据，称为随机梯度下降法(stochastic gradient descent)，又称为SGD.