反向传播公式推导

参考自https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome

一、逻辑回归导数(单一样本)

逻辑回归导数(单一样本).jpg

通过链式求导法则求得损失函数L关于参数w,b的导数

• dw1 = x1*dz
• dw2 = x2*dz
• db = dz

对参数进行更新，α是学习速率

• w1 = w1 - αdw1
• w2 = w2 - αdw2
• b = b - αdb

---

二、逻辑回归导数(m个样本)

向量化逻辑回归.png

• 每一个样本按列排放，X∈R^nx,m
• 参数向量w∈R^nx,1为列向量

逻辑回归导数(m样本).png

• 逻辑回归中，单个样本dz = a - y,这里为m个样本，是两个向量相减，得dZ
• 把w看作列向量，dw += XdZ^T
  
  image.png

---

三、神经网络导数(逻辑回归的堆叠)

前向传播.png

• dW^[2] = dZ^[2] a^[1]T
• 如下图，可以看出，这里的dW是对所有样本的求和，最后还需要除以1/m

dW示意.png

• da^[1] = W^[2]T dZ^[2]
• [注] 如下图，与正向传播的公式作比较，可以看出反向传播确实求得da

da示意.png

向量化反向传播公式总结

公式总结.png