反向传播算法过程推导

反向传播算法

反向传播算法(Back Propagation Algorithm)的定义:反向传播(Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。下面以一个具有单个隐藏层的人工神经网络为例,如下图所示,来介绍反向传播算法的计算过程。
反向传播算法过程推导_第1张图片
反向传播算法过程推导_第2张图片
反向传播算法过程推导_第3张图片
在这里插入图片描述
反向传播算法过程推导_第4张图片
反向传播算法过程推导_第5张图片
反向传播算法过程推导_第6张图片
反向传播算法过程推导_第7张图片
。。。。。。

你可能感兴趣的:(神经网络,神经网络,机器学习,深度学习,算法)