多层神经网络,从零开始——(三)、BP神经网络公式的详细推导

前言

正所谓“编码未动,公式先行”,这里先从最简单的单个隐藏层的情况入手。BP(Back Propagation)神经网络一般是指使用反向传播算法进行训练的多层前馈神经网络。其中,包含单个隐藏层的前馈神经网络是最为典型的一种,通过对其公式进行仔细推导有助于理解BP算法的工作原理。

推导

推导主要用到了链导法则,涉及的参数在如下的示意图中进行了详细的记述。

多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第1张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第2张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第3张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第4张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第5张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第6张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第7张图片
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导_第8张图片

附录

多层神经网络,从零开始——(一)、Fortran读取MNIST数据集
多层神经网络,从零开始——(二)、Fortran随机生成“双月”分类问题数据
多层神经网络,从零开始——(三)、BP神经网络公式的详细推导
多层神经网络,从零开始——(四)、多层BP神经网络的矩阵形式
多层神经网络,从零开始——(五)、定义数据结构
多层神经网络,从零开始——(六)、激活函数
多层神经网络,从零开始——(七)、损失函数
多层神经网络,从零开始——(八)、分类问题中为什么使用交叉熵作为损失函数
多层神经网络,从零开始——(九)、优化函数
多层神经网络,从零开始——(十)、参数初始化
多层神经网络,从零开始——(十一)、实现训练类
多层神经网络,从零开始——(十二)、实现算例类
多层神经网络,从零开始——(十三)、关于并行计算的简单探讨

你可能感兴趣的:(多层神经网络,从零开始——(三)、BP神经网络公式的详细推导)