反向传播推导过程

举一个例子，来推到一些神经网络反向传播的流程。（bp算法）

正向传播的过程：

最终的损失为：

我们希望cost是越小越好。所以，反向传播就是干这个事情，通过链式求导的方法，让cost下降。

我们可以简单的把cost看作是一个与w13，w14，w23，w24有关的函数。也就是反向传播的目的是求：

然后就是反向传播啦：
反向传播的的目的就是更新w35，w45，w23，w24，w13，w14。

如下所示：

计算过程如下：

更新过程：

---

参考教程：

1. 如何直观地解释 back propagation 算法？ - 忆臻的回答 - 知乎
   https://www.zhihu.com/question/27239198/answer/140093887
   http://www.cnblogs.com/charlotte77/p/5629865.html

2. http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html