神经网络正向传播和反向传播

正向传播(forward-propagation):指对神经网络沿着输入层到输出层的顺序,依次计算并存储模型的中间变量。

反向传播(back-propagation):沿着从输出层到输入层的顺序,依据链式法则,依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。

反向传播是一种计算神经网络参数梯度的方法

在训练深度学习模型的时候,正向传播和反向传播相互依赖

其一:正向传播的计算依赖于模型参数的当前值,这些模型参数是在反向传播梯度计算后通过优化算法迭代的

其二:反向传播的梯度计算可能依赖于各变量的当前值,这些值是通过正向传播计算得到的

反向传播的本质是链式法则

你可能感兴趣的:(李沐-机器学习,神经网络)