神经网络中的反向传播算法推导

引言

反向传播算法(Backpropagation)是目前用来训练人工神经网络最常用且最有效的算法。1986年, Hinton, 深度学习之父, 和他的合作者发表了论文,首次系统地描述了如何利用BP算法有训练神经网络。从这一年开始,BP在有监督的神经网络算法中占着核心地位。它描述了如何利用错误信息,从最后一层(输出层)开始到第一个隐层,逐步调整权值参数,达到学习的目的。话不多说,接下来就开始一个简单的网络,来推导反向传播算法中每层w和b的更新。

网络结构如下:

神经网络中的反向传播算法推导_第1张图片

向前传播

神经网络中的反向传播算法推导_第2张图片

误差函数

神经网络中的反向传播算法推导_第3张图片

反向传播

神经网络中的反向传播算法推导_第4张图片

神经网络中的反向传播算法推导_第5张图片
神经网络中的反向传播算法推导_第6张图片
神经网络中的反向传播算法推导_第7张图片

神经网络中的反向传播算法推导_第8张图片

参考文献

[1] https://www.zhihu.com/question/24827633

你可能感兴趣的:(深度学习)