对反向传播算法（Back-Propagation）的推导与一点理解

        最近在对卷积神经网络（CNN）进行学习的过程中，发现自己之前对反向传播算法的理解不够透彻，所以今天专门写篇博客记录一下反向传播算法的推导过程，算是一份备忘录吧，有需要的朋友也可以看一下这篇文章，写的挺不错的：http://www.cnblogs.com/lancelod/p/4164231.html，本文也大量参考了这篇文章。本文在推导过程中忽略了偏置的存在，这样做是为了更简单明晰的阐述BP算法的操作过程，并不是说偏置不重要，希望不会引起误会。

        我们知道，神经网络大多采取正向传播预测，反向传播误差的结构。反向传播算法是运用在神经网络中进行网络权重等最优值计算算法，其核心就是梯度下降 + 链式法则求偏导，下面就对反向传播算法进行一下简单的推导：

        在下面的推导过程中，表示连接前一层神经元 和后一层神经元 的权值。

                              

        对于输出层神经元 ，它的输入 按下式进行计算(忽略偏置):

    

        可以看到它的输入等于前一层所有神经元的输出和对应连接的加权和, 如上图，而的输出按下式计算:

      

        对于有监督训练, 期望输出即样本类标签d和实际输出y都是已知的, 可以定义误差或者loss function为:

      

        前期的准备工作已经完成了，下面开始正式的推导过程：
     

        这样，我们就可以根据最后求出的误差来对权重进行更新，这种误差反向传递的方式就是反向传播算法的精髓所在。

        处理完输出层神经元，我们再来看一下输出层之前的一层神经元的权值更新，我们定义表示连接前一层神经元和后一层神经元的权值。

        相信大家已经看出误差反向传导的内涵了，每一层所产生的误差会逐渐向之前的层次传播，而各层的权重根据梯度下降算法不断地优化。总之，反向传播算法的核心就是梯度下降 + 链式法则求偏导，虽然看起来很繁琐并且计算复杂度有点高，但是实际上BP算法的精确性和易用性是很难被其他算法替代的，这也是现在比如CNN等很火的深度学习算法普遍采用BP算法的原因。