深度学习笔记损失函数反向传播理解记录

深度学习笔记损失函数反向传播公式过程理解记录

深度学习的第三周课程损失函数的反向传播卡了一点时间，发现卡顿的根本原因是对前边的一些细节符号没有准确记忆，同时过程中一些同一含义的符号发生变化。联系上前文一条一条过终于顺利理解，留些记录免得遗忘。

1.逻辑回归

逻辑回归的公式都比较好理解，深度学习和机器学习笔记都反复提及：

2.神经网络中的损失函数计算
以双层神经网络为例，有一个输入层，一个隐藏层和一个输出层。

反向传播就是将偏导一层一层写出来，
$$d{z}^{[2]}=\frac{dL}{d{a}^2}\cdot \frac{d{a}^2}{d{z}^2}$$
其中：$$\begin{gathered} L为损失函数定义:L=L({\stackrel{\wedge }{y}}^{(i)},y^{(i)})=-y^{(i)}\log {\stackrel{\wedge }{y}}^{(i)}-(1-y^{(i)})\log (1-{\stackrel{\wedge }{y}}^{(i)})，此处{\stackrel{\wedge }{y}}^{(i)}为a^{[2]} \\ {a}^{[2]}=\sigma (z^{[2]})=\frac{1}{1+e^{-z^{[2]}}};其中\sigma ()为激活函数，教材用的依然是sigmod函数 \end{gathered}$$
所以可以得到：
$$\frac{d{a}^{[2]}}{d{z}^{[2]}}=a^{[2]}(1-a^{[2]});d{a}^{[2]}=\frac{dL}{d{a}^{[2]}}=-y/a^{[2]}+(1-y)/(1-a^{[2]})$$
所以：$$d{z}^{[2]}=\frac{dL}{d{a}^2}\cdot \frac{d{a}^2}{d{z}^2}=a^{[2]}-y$$
按两层写一下逻辑回归方程：
$$第一层：z^{[1]}=w^{[1]}{a}^{[0]}+b^{[1]};$$
$$其中a^{[0]}=x;$$
$$第一层激活：a^{[1]}=\sigma (z^{[1]});$$
$$第二层：z^{[2]}=w^{[2]}{a}^{[1]}+b^{[2]};$$
$$第二层激活：a^{[2]}=\sigma (z^{[2]});$$
$$输出：y=a^{[2]};$$

w在z表达式中，所以对w的求导需要先解L再解z。

$$dw=\frac{dL}{dz}\cdot \frac{dz}{dw}=\frac{dL}{dz}\cdot x=dz\cdot x;$$

所以由两层逻辑回归方程可以得到：

$$d{w}^{[2]}=d{z}^{[2]}\cdot a^{[1]};d{w}^{[1]}=d{z}^{[1]}\cdot a^{[0]},其中a^{[0]}=x;$$

综上所述，过程1，解第二层需要从输出层往前挨个求偏导。过程2.求第一层也是从输出层挨个往前求偏导，无非就是挨个往前的中间变量可以用过程1的结果做替换，也就是这里面容易跟不上了，一层一层写出来看一遍就会了。

$$d{z}^{[1]}=(\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}})\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}};$$

对应的是深度学习笔记中的公式3.4.2：
$$d{z}^{[1]}=d{z}^{[2]}\cdot w^{[2]T}\cdot {\sigma }^{[1{]}^{\prime }}(z^{[1]});$$

此处在课程笔记中将激活函数用了g()代替了前面部分的函数，含义及表达式一样，或许是为了打字方便，本文中延续机器学习笔记从始至终都用一种符号sigma，便于快速阅读公式。

笔记中公式3.4.1同样的方式展开：

$$d{b}^{[2]}=\frac{dL}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{b}^{[2]}}=d{z}^{[2]}\cdot 1;$$

笔记中公式3.44及以后的推导无非是吧代价函数换成了损失函数而已，矩阵的角标及其含义发生变化，过程及形式均一样。