神经网络学习笔记

2.1多层前馈神经网络

 

原理：有大量可以并行处理的神经元组成，一是可以通过学习从外部环境中获取知识，二是由神经元之间的权值连接存储获取的知识。神经网络依靠复杂的输入输出反复调整参数的过程，让网络对一些输入的响应产生符合所希望的要求。

 

BP网络：（以此模型为代表进行介绍）

类型：典型的多层前馈神经网络

组成及工作原理：一般有输入层、中间层和输出层构成。每层都有若干个神经元组成，相邻两层的神经元之间全连接，每层神经元的输入来自前一层神经元的一个或多个输出，同层的各神经元之间不存在反馈和连接。

BP网络特点：单向进行，学习过程中不存在特定的数学公式，全部由网络自行调整学习

 

2.1.1神经元模型

神经网络模型：最原始的MP模型（单个神经元具备执行逻辑的功能）

单个神经元的工作模型：神经元是由一个或多个输入、一个输出、yige代表其处于抑制或激活状态的阈值组成的非线性单元。

过程：从外界接受输入信号，并将这些输出信号通过某种方式组合成一个净输入，然后净输入通过一个阈值门，并将输出信号传输给另一个神经元作为网络输出信号的一部分。

 

净输入的量有输入信号X和权值W内积，减去或加上相应的阈值得到。

净输入高于阈值时，神经元处于激活状态。设一个神经元有n个输入信号 ，则该神经元净输入计算公式为：

其中，是输入信号，为对应连接权值，正值起到强化输入作用，负值起到抑制作用，为神经元阈值，则为神经元的净输入。

由于神经元只有抑制或激活两种状态，故其输出可表示为：

其中，1表示激活状态，0表示抑制状态。

 

2.2.2 BP算法描述

在网络开始训练之前，用一些大小不同的随机数对网络的权值和阈值进行初始化。

BP网络的运行分为正向的传播输入信号和反向的传播误差两个过程;

1. 选定训练样本组，从样本集中随机选取一组作为训练样本；
2. 用不同的小随机数初始化权值矩阵Vij\ 、Wjk 和阈值,并设置学习率参数和精度控制参数
3. 
4. 

1. 
2.