神经网络正向和反向传播公式推导

表示方法：第l-1层的第k个神经元到第l层的第j个神经元的线性系数定义为

 

正向：

假设第l-1层有m个神经元

代数表示：

矩阵表示：

 

反向：

以均方误差为例：

一：J到最后一层输出层（第L层）的z： 先对aL, 再是a对z：

二：J到任意一层（l层）的z：

1.借助上式和链式法则，可以求J对任意一层（l层）的z:

2.或者是：根据J对z(l+1)求z(l)的：

无论哪种，关键是求：

1.矩阵法：

2.代数法  

直观理解&记忆

第一个式子：J到(l+1)层的全部神经元有梯度，每个l层神经元到(l+1)层的每个神经元有梯度，梯度回传，相加

第二个式子：l+1层的zk跟l层的aj之间只有一个w

三.关于每层的W和b：

 

即：

引用：

深度神经网络（DNN）反向传播算法(BP)

详解神经网络的前向传播和反向传播（从头推导）

机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则