深度学习中的反向误差传播

深度学习的反向误差传播，其实就是导数的链式求导法则，通过误差对权重的偏导：

求得权重对误差的贡献大小，然后在给定学习率的情况下，根据该偏导求权重的更新值：
反向传播的链式法则，实例推导：
http://www.cnblogs.com/charlotte77/p/5629865.html
反向传播的简单例子：
http://www.ppvke.com/Blog/archives/40563
反向传播最简单的python例子(11行python代码)：
http://blog.csdn.net/mingtian715/article/details/53954069
在2层网络中，其反向传播的核心代码如下：
X是输入，nonlin是求sigmoid函数，加第二个参数，且为true时，其求的是sigmoid的导数
syn0是权重，下面后三行中的代码全部是按照偏导求法的链式法则来求的

for iter in xrange(10000):  
   # forward propagation  
   l0 = X  
   l1 = nonlin(np.dot(l0,syn0))  

   # how much did we miss?  
   l1_error = y - l1  

   # multiply how much we missed by the   
   # slope of the sigmoid at the values in l1 反向传播公式  
   l1_delta = l1_error * nonlin(l1,True)  

   # update weights  
   syn0 += np.dot(l0.T,l1_delta)

反向传播示意图：

源地址：http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html