反向传播算法（BP）学习笔记

本文是学习B站李宏毅老师视频的心得，想看视频可以移步到b站。

反向传播（Backpropagation）

 

先介绍几个微分中复合函数的例子

L是Loss Function，它是若干个L 的加和，若想要计算L的偏微分，则只需要先计算每一个l对w的偏微分，然后再加起来即可。

两层网络之间的传输中，输入是x1和x2，经过一系列运算得到y1和y2。L对权重的偏微分可以表示如下

得到的结论是：z对w的偏微分是输入值。

Forward pass

下面对上述结论举个例子。

Backward pass

下图中的曲线是Sigmoid函数与其导数的图形。

 

上图式子简化后得到下图的式子。

假设最后已经是到达输出层网络，则情况如下。

假设不是最后的输出层，则情况如下，直到计算到输出层的偏微分。

Backward pass的做法：构建反向的网络结构，通过结果来计算输出层上层的偏微分值，以此类推，计算出每层网络的偏微分值。

BP算法整体总结如下图所示：