backpropagation反向传播算法

反向传播算法是神经网络求各节点梯度并更新参数矩阵的核心算法，具有十分重要的意义，可以说没有backpropagation就没有神经网络和深度学习。另外，backpropagation在气象预测，数学分析等领域都有作用。

然而，反向传播算法的原理比较难以理解，网上很多描述要么比较晦涩，要么比较零散，很多是翻译过来却没有翻译好，我觉得还是把英文版的拿来看更好，不得不说老外似乎更擅长将抽象地东西表述清楚。

1， http://colah.github.io/posts/2015-08-Backprop/

举例描述了forward-mode differentiation和reverse-mode differentiation（backpropagation）过程，比较了二者的区别和优劣，解释了为什么backpropagation效率比forward-mode高（输入量远远大于输出量），方法本身不局限于神经网络。

2，http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

用一组示意图详细介绍了在深度网络中实现backpropagation的过程，看图就可以了，基本不用懂英语。

3，http://neuralnetworksanddeeplearning.com/chap2.html

深度解析backpropagation的博文，如果要搞透它还得看这篇，有详细的数学推导，也有例子验证，还附上了代码（python），非常有价值。