BP神经网络公式推导

一、m-p神经元模型：

神经网络是由许多个神经云所构成，而一个单独的神经元的结构如上图所示。若一个神经元有n个输入$x$，每一个输入都要配有一个权值$w$，神经元的总输入为:
$$\sum _{i=1}^n{w}_i{x}_i$$
生物的神经元需要收到一定程度的刺激才可被激活，所以用$\theta$表示神经元的阈值,当总输入高于此值，该神经元才可被激活。神经元的输出$y$取决于激发函数$$y=f(x)$$,神经元总输入减去阈值得到的值:
$$\sum _{i=1}^n{w}_i{x}_i-\theta$$
作为激活函数的输入.

二、BP神经网络

1.结构图如下：

2，BP神经网络的特点

（1）BP神经网络是一种多层网络，包括输入层、隐含层(≥1层)和输出层；
（2）相邻层之间的神经元全部互连，但同一层神经元之间不连接；
（3）神经元的的激发函数为S函数：
$$f(x)=\frac{1}{1+e^{-x}}$$
且有：$$f^{\prime }(x)=f(x)(1-f(x))$$
（4）学习算法由正向传播和反向传播组成；正向传播得到输入的真实输出，反向传播根据真实输出与理想输出之间的差值更新神经网络中的权值。
（5）权值通过δ学习算法进行调节；

δ学习算法