深度学习实战-BP神经网络权值更新公式详解(Caffe之经典模型详解与实战上面的)

　　深度学习-Caffe之经典模型详解与实战上面推导的BP神经网络权值更新公式与机器学习(周志华那本有些不一样)，因此在这里重新推导一遍，由于CSDN的公式编辑器太麻烦，直接照片上传吧！
　　三层神经网络的拓扑结构如图1所示：
　　
　　　　　　　　　　　　　　　　　　　　　　　图１　三层神经网络的拓扑结构
　隐层的传递函数为 f1(.) f 1 ( . ) ,输出层的传递函数为 f2(.) f 2 ( . ) ,
　
　则隐层节点的输出为: zk=f1(∑ni=0vkixi) z k = f 1 ( ∑ i = 0 n v k i x i ) ;
　
　输出层节点的输出为： yi=f2(∑qk=0vkjkzk) y i = f 2 ( ∑ k = 0 q v k j k z k ) ;
　
　第 v v 个样本的误差为： Ev=12∑mj=1(tvj−yvj)2 E v = 1 2 ∑ j = 1 m ( t j v − y j v ) 2 ，其中 tvj t j v 为期望输出；
　
　对 p p 个样本点额全局误差为： 12∑pv=1∑mj=1(tvj−yvj)2=∑pv=1Ev 1 2 ∑ v = 1 p ∑ j = 1 m ( t j v − y j v ) 2 = ∑ v = 1 p E v

1、输出层权值跟新
　　　采用累计误差BP算法调整 wjk w j k ,使得全局误差 E E 最小，即：
　　　

2隐层权值更新