神经网络前向传播和反向传播公式推导(公式+图解)

以如下的预测是否是猫的双层神经网络为例进行公式推导:

神经网络前向传播和反向传播公式推导(公式+图解)_第1张图片

符号注解:

n_x :  输入特征的数量

n_h : 隐藏层的节点数量

n_y : 输出层的节点数量

m : 样本数量

W :权重矩阵

b :偏置项

(由于很多符号不好手打,我就直接在接下来的纸上推导顺便解释 0.0)

神经网络前向传播和反向传播公式推导(公式+图解)_第2张图片

前向传播:

反向传播:

更新参数:

神经网络前向传播和反向传播公式推导(公式+图解)_第3张图片

部分偏导我全用导数代替了,不影响最终结果。字有些丑,请见谅!

你可能感兴趣的:(机器学习,深度学习,深度学习,神经网络)