BackPropagation算法理论详解及公式推导

定义:

          \eta:步长

          w_{ji}^{l}第(l-1)层隐藏层的第i个神经元------------>第(l)层隐藏层的第j个神经元的连线的权值

           b_{j}^{l}第(l)层隐藏层的第j个神经元的偏量bias,下面的图片中的bias_{j}^{l}就是b_{j}^{l}

           Z_{j}^{l}

BackPropagation算法理论详解及公式推导_第1张图片

           a_{j}^{l}=\frac{1}{1+e^{-Z_{j}^{l}}}

一、目标函数:

          Cost(w, b)=\frac{1}{2m}\sum_{i=1}^{m}\left \| y-a^{L} \right \|^{2}此处的y是向量(样本提供的标准答案),a^{L}是神经网络的输出向量。

          由于神经网络是每注入一个样例,更新一次参数的,所以,考虑到注入一个样例的情况,其目标函数是:         cost(w,b)=\frac{1}{2}\sum_{i=1}^{outputs}(y_{i}-a_{i}^{L})^{2},其中outputs表示神经网路的最终结果的可能性个数。

二、两个参数的更新方程:

          w_{ji}^{l}:=w_{ji}^{l}-\eta\frac{\partial cost}{\partial w_{ji}^{l}}

          b_{j}^{l}:=b_{j}^{l}-\eta \frac{\partial cost}{\partial b_{j}^{l}}

          现在为题转化为如果求解\frac{\partial cost}{\partial w_{ji}^{l}}\frac{\partial cost}{\partial b_{j}^{l}},下面给出详细求解过程:

 

BackPropagation算法理论详解及公式推导_第2张图片

 

 

BackPropagation算法理论详解及公式推导_第3张图片

至此BackPropagation算法推导完毕。

补充和修改:为了更好的解释\delta _{j}^{l}的递推过程,对上述部分推导进行简单修改

 

BackPropagation算法理论详解及公式推导_第4张图片

 

 

 

 

 

 

你可能感兴趣的:(BackPropagation算法理论详解及公式推导)