BP误差反向传播算法

BP算法

BP算法通过将输出误差反向传播,将误差分配到每个权值上,利用梯度更新对所有参数进行调整以达到输出累计误差最小
BP误差反向传播算法_第1张图片


[图片来自Andrew Ng的machine learning课程]

为了简化概念,先不加上偏置单元
符号介绍
zli :第 l 层第 i 节点的误差

zli :第 l 层第i节点的输入值

ali :第 l 层第 i 节点的输出值

wlji :第 l1 层第i节点到第 l j 节点的权值

h():节点的激活函数,如sigmod、tanh等

ml :第 l 层的节点个数

根据网络图,有以下关系:
ali=h(zli)

zli=mlj wljial1j
误差反向传播递推公式以及对任一参数更新推导如下(打符号好慢,直接上手工图片)
BP误差反向传播算法_第2张图片

你可能感兴趣的:(BP误差反向传播算法)