ANN-简单了解

ANN人工神经网络（Artificial Neural Network，ANN）

简称神经网络或类神经网络。在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数据模型或计算模型，用于对函数进行估计或近似。

神经网络由大量的人工神经元联结计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗地讲就是具备学习功能。

现代神经网络是一种非线性统计性数据建模工具，神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以也是数学统计学方法的一种应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题（也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力），这种方法比起正式的逻辑学推理演算更具优势。

1.神经元

神经元是多输入单输出的信息处理单元，具有空间整合性和阈值性，输入分别为兴奋性输入和抑制性输入。按照这个原理，科学家提出了M-P模型（取自两个提出者的姓名首字母），M-P模型是对生物神经元的建模，作为人工神经网络中的一个神经元。

2.激活函数

激活函数可以看做滤波器，接收外界各种各样的信号，通过调整函数，输出期望值。ANN通常采用三类激活函数：阈值函数、分段函数、双极性连续函数：

 

阈值函数

 

分段函数

 

双极性连续函数 sigmoid函数

 

3.学习方法

• 神经网络的学习也称为训练，通过神经网络所在环境的刺激作用调整神经网络的自由参数（如连接权值），使神经网络以一种新的方式对外部环境做出反应的一个过程。

• Hebb学习：如果突触（连接）两边的两个神经元被同时（同步）激活，则该突触的能量（权重）就选择性增加；如果被异步激活，则该突出能量减弱或消除。

• 纠错学习：计算实际输出和期望输出的误差，再返回误差，修改权值。

• 基于记忆的学习：主要用于模式分类，在基于记忆的学习中，过去的学习结果被存储在一个大的存储器中，当输入一个新的测试向量时，学习过程就是把新向量归到已存储的某个类中。算法包括两部分：一是用于定义测试向量局部领域的标准；二是在局部领域训练样本的学习规则。常用最近邻规则。

• 随机学习算法：也叫Bolzmann学习规则，根据最大似然规则，通过调整权值，最小化似然函数或其对数。 模拟退火算法：是从物理和化学退火过程类推过来，是“对物体加温后再冷却的处理过程”的数学建模。

• 竞争学习：神经网络的输出神经元之间相互竞争，在任一时间只能有一个输出神经元是活性的。

4.神经网络的拓扑结构

神经网络的拓扑结构