吴恩达深度学习--反向传播

反向传播图示

• 对于一个单隐层的神经网络，它的正向传播与反传播如下。
  
  

反向传播的向量化表示

dz[2]=A[2]−Y

dw[2]=1mdz[2]A[1]T

db[2]=1mnp.sum(dz[2],axis=1,keepdims=true)

dz[1]=w[2]Tdz[2]∗g[1]′(z[1])

dw[1]=1mdz[1]xT

db[1]=1mnp.sum(dz[1],axis=1,keepdims=true)

• 上式中的keepdims=true的含义是确保python的输出是矩阵。 g[1]′ 的含义是第一层的激活函数。

变量的维度

• 设一个单隐层的神经网络的输出层、隐含层和输出层的维度分别是： n[0] 、 n[1] 、 n[2] 。反向传播各个变量的维度总结如图2所示：