【机器学习笔记20】神经网络（链式求导和反向传播)

【参考文献】
【1】《面向机器智能的TensorFlow实践》4.7

假设存在网络结果如下

各个层输出定义

$L_1=sigmoid(w_1\cdot x)$
$L_2=sigmoid(w_2\cdot L_1)$
$L_3=sigmoid(w_3\cdot L_2)$

定义整个网络最终的损失函数为
$loss=Loss(L_3,y_{expect})$

对损失函数求$w_3$偏导数，得到

$\frac{\partial loss}{\partial w_3}=Los{s}^{\prime }(L_3,y_{expect})sigmoi{d}^{\prime }(w_3,L_2)L_2$

同理我们得到对$w_2$和$w_1$的偏导数
$\frac{\partial loss}{\partial w_2}=Los{s}^{\prime }(L_3,y_{expect})sigmoi{d}^{\prime }(w_3,L_2)sigmoi{d}^{\prime }(w_2,L_1)L_1$

$\frac{\partial loss}{\partial w_1}=Los{s}^{\prime }(L_3,y_{expect})sigmoi{d}^{\prime }(w_3,L_2)sigmoi{d}^{\prime }(w_2,L_1)sigmoi{d}^{\prime }(w_1,x)x$

综上所述，我们将整个求导公式简写
$\frac{\partial loss}{\partial w_3}=Los{s}^{\prime }{L}_3^{\prime }{L}_2$
$\frac{\partial loss}{\partial w_2}=Los{s}^{\prime }{L}_3^{\prime }{L}_2^{\prime }L1$
$\frac{\partial loss}{\partial w_1}=Los{s}^{\prime }{L}_3^{\prime }{L}_2^{\prime }L{1}^{\prime }x$

可以看到规律在反向求导中，每一次计算都可以重用前一层的计算结果，这也就是所谓的反向传播算法。