BP网络算法的基本思想及算法流程

网络的构成

神经元的网络输入：

$ne{t}_i=x_1{w}_{1i}+x_2{w}_{2i}+...+x_n{w}_{ni}$

神经元的输出：

$o=f(net)=\frac{1}{1+e^{-net}}$
$$\begin{gathered} f^{{}^{\prime }}(net)=-\frac{1}{1+e^{-net}}(-e^{-net}) \\ =o-o^2 \\ =o(1-o) \end{gathered}$$
输出函数分析：$$o=\frac{1}{1+e^{-net}}$$

• 应该将net的值尽量控制在收敛比较快的范围内
• 可以用其他函数作为激活函数，只要该函数处处可导

网络的拓扑结构

• 涉及到的参数：输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数
• 增加隐藏层的层数和隐藏层=神经元个数不一定能够提高网络的精度和表达能力
• BP网络一般都选用二级网络，如下图所示：
  

训练过程

样本：(输入向量，理想输出向量)
权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。

1、向前传播阶段

• 1. 从样本集中取一个样本$(X_p,Y_p)$，将$X_p$输入网络；
• 2、计算相应的实际输出$O_p$：$O_p=F_I(...(F_2(F_1(X_p{W}^{(1)})W^{(2)})...)W^{(L)})$

2、向后传播阶段

• 1、计算实际输出$O_p$与相应的理想输出$Y_p$的差；
• 2、按极小化误差的方式调整权矩阵
• 3、网络关于第p个样本的误差测度：$$E_p=\frac{1}{2}{\Sigma }_{j=1}^m(y_{pj}-o_{pj}{)}^2$$
• 4、网络关于整个样本集的误差测度：$$E={\Sigma }_p{E}_P$$

误差传播分析

1、输出层权的调整

$$w_{pq}=w_{pq}+\Delta w_{pq}$$
$$\begin{gathered} \Delta =\alpha {\delta }_q{o}_p \\ =\alpha f_n^{{}^{\prime }}(ne{t}_q)(y_q-o_q)o_p \\ =\alpha o_q(1-o_q)(y_q-o_q)o_p \end{gathered}$$

2、隐藏层的调整

${\delta }_{pk-1}$的值和${\delta }_{1k},{\delta }_{2k},...,{\delta }_{mk}$有关，可以认为${\delta }_{pk-1}$通过权$w_{p1}$对${\delta }_{1k}$做贡献，
通过权$w_{p2}$对${\delta }_{2k}$做贡献，
……
通过权$w_{pm}$对${\delta }_{mk}$做贡献。
所以${\delta }_{pk-1}=f_{k-1}^{{}^{\prime }}(ne{t}_p)(w_{p1}{\delta }_{1k}+w_{p2}{\delta }_{2k}+...+w_{pm}{\delta }_{mk})$
$$v_{hp}=v_{hp}+\Delta v_{hp}$$
$$\begin{gathered} \Delta v_{hp}=\alpha {\delta }_{pk-1}{o}_{hk-2} \\ =\alpha f_{k-1}^{{}^{\prime }}(ne{t}_p)(w_{p1}{\delta }_{1k}+w_{p2}{\delta }_{2k}+...+w_{pm}{\delta }_{mk})o_{hk-2} \\ =\alpha o_{pk-1}(w_{p1}{\delta }_{1k}+w_{p2}{\delta }_{2k}+...+w_{pm}{\delta }_{mk})o_{hk-2} \end{gathered}$$

基本的BP算法

样本集：$S=(X_1,Y_1),(X_2,Y_2),...,(X_s,Y_s)$
基本思想：

• 逐一地根据样本$(X_k,Y_k)$计算出实际输出$O_k$和误差测度$E_1$，对$W^{(1)},W^{(2)},...,W^{(L)}$各做一次调整，重复这个循环，知道$\Sigma E_p<ϵ$。
• 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层误差，再用输出层前导层估计更前一层的误差。如此获得所有其他各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现得误差沿着与输入信号相反的方向逐级向输入端传递的过程。
  基本BP算法流程

1. for k=1 to L do
   1.1 初始化$W^{(k)}$;
2. 初始化精度控制参数$ϵ$;
3. $E=ϵ+1$;
4. while E>$ϵ$ do
   4.1 E=0;
   4.2 对S中的每一个样本$(X_p,Y_p)$:
     4.2.1 计算出$X_p$对应的实际输出$O_p$;
     4.2.2 计算出$E_p$;
     4.2.3 $E=E+E_p$;
     4.2.4 根据相应式子调整$W^{(L)}$;
     4.2.5 k=L-1;
     4.2.6 while $k\ne 0$ do
       4.2.6.1 根据相应式子调整$W^{(k)}$;
       4.2.6.2 k=k-1
   4.3 $E=E/2.0$
   消除样本顺序影响的BP算法
   
   

算法的主要实现步骤