菜鸟学matlab之智能算法（2）——————————BP神经网络算法

一.算法背景和理论

BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

---

二.算法的详细分析

图2.1BP神经元的简略图

关于图的分析（五种元素）：

      1）输入信号（也就是我们的输入向量）
      2）连接权（通常也用向量来表示）：连接强度由各自连接上的权值表示（正负都可以），其中正表示激活，负表示抑制。
      3）加法器：用来求所有输入信号及其对应的权值积的和。
      4）激活函数：用来抑制输出信号的振幅（这个下文会有详解），激活函数也可以被称为抑制函数，因为它将输出信号限制在允许范围的一个定值。通常，一个输出信号的正常幅度范围可 写成单位闭区间的[0,1]，或者另一种区间[-1,1]。
      5）偏置阙值（可要可不要）：在BP神经网络中，阈值也是一个变化值。根据其为正或者为负，相应的增加或者减少激活函数的网格输入。具体可以用下面的公式表示（其中bk表示自行设定的阙值大小）：
     ![这里写图片描述](https://img-blog.csdn.net/20150907001635630) 

　　通过训练网络（下面会详解），对权重和阈值进行修正，最终达到局部最优。
————