神经网络学习的步骤(不是教你怎么学神经网络)

前提(获得权重和偏置——学习的目的

神经网络存在合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。

步骤 1(mini-batch)(计算全部样本的损失函数值时间过长,且非必要,计算其中一部分数据的损失函数即可

从训练数据中随机选出一部分数据,这部分数据称为 mini-batch。我们的目标是减小 mini-batch 的损失函数的值。

步骤 2(计算梯度)(梯度下降法:一种优化算法,此处以损失函数值最小为优化目标

为了减小 mini-batch 的损失函数的值,需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。

步骤 3(更新参数)(沿梯度方向逐步搜索损失函数最小值

将权重参数沿梯度方向进行微小更新。

步骤 4(重复)

重复步骤 1、步骤 2、步骤 3。


梯度下降法要注意选择的步长,步长过大会导致算法无法收敛,步长过小会导致算法运行时间过长,迭代次数过大。

你可能感兴趣的:(神经网络学习笔记)