反向传播back propagation：神经网络递推与一般表示的向量形式

零 前置知识

损失函数与激活函数

损失函数的形式称为交叉熵（cross entropy），后面的推导中的损失函数L都是此形式

梯度下降法

Repeat:

{

}

until convergence

可见若进行梯度下降法，需求出w与b对L的导数

 

一 Logistic回归中的导数与back propagation

基本结构

 

logistic回归的梯度表达式推导与反向传播

由于需要求出对w和b的导数，根据导数的链式法则，逆向一步步可最终求出w和b的导数，故导数反向传播

 

二 神经网络中梯度的向量化表达与递推关系

与logistic回归相像，易得nn中的梯度表达式与其向量化表示，如下

 

递推关系和一般形式的向量表达

对于第i层对应的向量化表示：

ps：dA的推导

dZ的推导

因为，所以

所以