BP反向传播算法推导

1、符号设定

  • 为第层输入向量
  • 为第层输出向量
  • 为第层到下一层的权重矩阵
  • 为每一层的sigmod激活函数
  • 为最后一层的下标,为最后一层的真实值,为预测值
  • 为一个样本的损失函数,其中
    根据设定,我们有以下等式

2、对于输出层


令误差,则
对于梯度更新公式为:

3、对于上一个隐藏层

由于,,则有

令隐藏层的误差
则有
对于梯度更新公式为:

若存在隐藏层,同理可得隐藏层的误差则有对于梯度更新公式为:

4、计算顺序

根据2、3可知,当要更新网络中神经元的所有权重时,需从输出层开始并逐步后向计算各隐藏层的输入值和输出值和误差项

参考

https://www.zybuluo.com/hanbingtao/note/476663

你可能感兴趣的:(BP反向传播算法推导)