智能计算之神经网络(Hopfield网络-DHNN,CHNN )介绍

目录

 1. 神经网络受欢迎的原因

2. 人工神经网络定义

3. 人工神经网络的学习能力

4. 人工神经网络的基本原理

5. 神经网络的研究进展

6. 神经网络的典型结构

6.1 单层感知器网络

6.2 前馈型网络

6.3 前馈内层互联网络

6.4 反馈型网络

6.5 全互联网络

7. 神经网络的学习算法

7.1 学习方法

7.2 学习规则

8. 霍普菲尔德(Hopfield )神经网络

8.1 来源

8.2 介绍

8.3 网络结构形式

8.4 非线性系统状态演变的形式

8.5 离散型Hopfield神经网络(DHNN)

8.6 连续性Hopfield神经网络(CHNN)

8.7 连续型Hopfield神经网络解决TSP问题

---

1. 神经网络受欢迎的原因

人工神经网络之所以如此流行,源于人工神经网络具有的特点和优越性,主要表现在以下三个方面:
        (1)具有自学习功能.例如,实现图像识别时,只要先把许多不同的图像样板和对应的识别结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像.自学习功能对于预测有特别重要的意义,预期未来的人工神经网络计算机将为人类提供经济预测,市场预测,效益预测,其应用前途是很远大的.
        (2)具有联想储存功能.用人工神经网络的反馈网络就可以实现这种联想．(3)具有高速寻找优化解的能力.寻找一个复杂问题的优化解,往往需要很大的计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速运算能力,可能很快找到优化解.

2. 人工神经网络定义

        人工神经网络模拟人脑及其活动的一个数学模型,它由大量的处理单元(process element)通过适当的方式互联构成,是一个大规模的非线性自适应系统.1988年,Hecht-Nielsen曾经对人工神经网络给出了如下的定义:
        “人工神经网络是一个并行、分布处理结构,它由处理单元及称为联结的无向信号通道互联而成.这些处理单元具有局部内存,并可以完成局部操作.每个处理单元有一个单一的输出连接,这个输出可以根据需要被分支多个并行联结,而且这些并行联结都输出相同的信号,即相应处理单元的信号及其信号的太小不因分支的多少而变化.处理单元的输出信号可以是任何需要的数学模型,每个处理单元中进行的操作必须是完全局部的.也就是说,它必须仅仅依赖于经过输入联结到达处理单元的所有输入信号的当前值和储存在处理单元局部范围的值.”

该定义主要强调了神经网络以下4个方面的内容:

        (1)并行、分布处理结构;
        (2)一个处理单元的输出可以被任意分支且大小不变;
        (3)输出信号可以是任意的数学模型;
        (4)处理单元的局部操作
        这里说的处理单元就是人工神经元(artificial neuron ,AN). 

按照Rumellhart ,MeClelland , Hinton等提出的并行分布处理系统(paralleldistributed processing ,PDP)模型,人工神经网络由以下8个方面的要素组成:

        (1)一组处理单元(PE或AN);
        (2)处理单元的激活状态(a);
        (3)每个处理单元的输出函数(f);
        (4)处理单元之间的联结模式;
        (5)传递规则;
        (6)把处理单元的输入及当前状态结合起来产生激活值的激活规则(F);
        (7)通过经验修改联结强度的学习规则;
        (8)系统运行的环境(样本集合). 

1987年.Simpson从人工神经网络的拓扑结构出发,给出了如下一个虽然不太严格但却简明扼要的定义:
“人工神经网络是一个非线性的有向图.图中含有可以通过改变权值大小来存放模式的加权边,并且可以从不完整或未知的输入找到模式.”
对一般的应用来说,人工神经网络除了可以叫做 PDP 以外,还可以叫做人工神经系统(ANS)、神经网络(NN)、自适应系统(adaptive systems)、自适应网(adap-tive networks),联结模型(connectionism)和神经计算机(neuron computer)等.

人工神经网络不仅在形式上模拟了生物神经系统,它在以下两个方面确实具有大脑的一些基本特征:
        (1)神经元及其联结.从系统构成的形式上看,由于人工神经网络是受生物神经系统的启发构成的,从神经元本身到联结模式,基本上都是以与生物神经系统相似的方式工作的.这里的AN与生物神经元(BN)相对应,可以改变强度的联结则与突触相对应.
        (2)信息的储存与处理.从表现特征上来看,人工神经网络也力求模拟生物神经系统的基本运行方式.例如,可以通过相应的学习/训练算法,将蕴含在一个较大数据集中的数据联系抽象出来,就像人们可以不断地探索规律,总结经验一样,可以从先前得到的例子找出一般规律或一般框架,再按要求产生出新的实例.

3. 人工神经网络的学习能力

        人工神经网络可以根据所在的环境来改变它的行为.也就是说,人工神经网络可以接受用户提交的样本集合,依照系统给定的算法,不断地修正用来确定系统行为的神经元之间联结的强度,而且在网络的基本构成确定之后,这种改变是根据其接受的样本集合自然地进行的.一般来说,用户不需要再根据所遇到的样本集合去对网络的学习算法作相应的调整,也就是说,人工神经网络具有良好的学习功能.
        神经网络与传统的人工智能系统的学习问题形成对照.在传统的人工智能系统的研究中,虽然人们对“机器学习”问题给予了足够的重视并倾注了极大的努力，但是,系统的自学习能力差依然是阻碍这些系统获得广泛应用的最大障碍,而人工神经网络具有良好的学习功能的这一性能,使得人们对它产生了极大的兴趣.人工神经网络的这一特性被称为“自然具有的学习功能”.
        在学习过程中,人工神经网络不断地从所接受的样本集合中提取该集合所蕴含的基本信息,并将其以神经元之间的联结权重的形式储存在系统中.例如,对于某一模式,可以用它的含有不同噪声的数据去训练一个网络,在这些数据选择得比较恰当的前提下,使得网络今后在遇到类似的含有一定缺陷的数据时,仍然能够得到它对应的完整的模式.这表明,人工神经网络可以学会按要求产生它从未遇到过的模式.人工神经网络的这一功能叫做“抽象”.

4. 人工神经网络的基本原理

神经元的结构如下：

 在生物上有生物神经元，那生物神经元和人工神经元关系怎样呢？

从图中我们可大致得出人工神经元是如何模仿生物的神经元进行工作的过程：

5. 神经网络的研究进展

6. 神经网络的典型结构

人工神经网络有很多种不同的模型,通常可按以下5个原则进行归类。·

• 按照网络的结构区分,有前向网络和反馈网络。
• 按照学习方式区分,有有监督学习网络和无监督学习网络。
• 按照网络性能区分,有连续型和离散型网络,随机型和确定型网络。·按照突触性质区分,有一阶线性关联网络和高阶非线性关联网络。
• 按对生物神经系统的层次模拟区分,有神经元层次模型,组合式模型﹑网络层次模型﹑神经系统层次模型和智能型模型。

6.1 单层感知器网络

        单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成。

由于这种网络结构相对简单，因此能力也非常的有限，一般比较少用。

6.2 前馈型网络

        前馈型网络的信号由输入层到输出层单向传输。

        每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息。

        是一种非常广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求。

6.3 前馈内层互联网络

        这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连。

6.4 反馈型网络

        这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身还是前馈型的。

        这种神经网络的输入层不仅接受外界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号。

        此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合。

6.5 全互联网络

全互联网络是网络中所有的神经元之间都有相互间的连接。

 如Hopfiled和Boltgmann网络都是这种类型。

7. 神经网络的学习算法

7.1 学习方法

• Supervised learning 监督学习：是有特征（feature）和标签（label）的，即便是没有标签的，机器也是可以通过特征和标签之间的关系，判断出标签。
• Unsupervised learning 无监督学习：只有特征，没有标签。
• Semi-Supervised learning 半监督学习:使用的数据，一部分是标记过的，而大部分是没有标记的。和监督学习相比较，半监督学习的成本较低，但是又能达到较高的准确度。
• Reinforcement learning 强化学习:强化学习也是使用未标记的数据，但是可以通过一些方法知道你是离正确答案越来越近还是越来越远（奖惩函数）。

7.2 学习规则

Hebb学习规则：简单理解就是，如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强。
Hebb学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此此这种方法又称为相关学习或并联学习。

Delta（δ \deltaδ）学习规则：Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差。
这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则。

BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习。

梯度下降学习规则：梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降。
误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 。
目前我们接触到的很多降低损失函数值的算法利用的就是梯度下降的学习规则。而梯度下降具体也有很多种类别，感兴趣的可以自行去了解哦。

Kohonen学习规则：该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络。

后向传播学习规则：后向传播（Back Propagation，BP）学习，是应用非常广泛的神经网络学习规则。

概率式学习规则：从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。
误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 。

竞争式学习规则：竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经无产生抑制性联接。
竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。

8. 霍普菲尔德(Hopfield )神经网络

8.1 来源

        1985年，J.J.Hopfield和 D.W.Tank建立了相互连接型的神经网络模型，简称HNN(Hopfield Neural Network)，并用它成功地探讨了旅行商问题(TSP)的求解方法。前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看﹐它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。

8.2 介绍

        Hopfield模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。
        Hopfield 网络可用于解决联想记忆和约束优化问题的求解。
        反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴趣的原因之一。

研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征:
        1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态﹔
        2.系统的稳定状态可以通过改变各个神经元间的连接权值而得到。 

        Hopfield神经网络设计与应用的关键是对其动力学特性的正确理解:网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。

8.3 网络结构形式

        Hopfield网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种(DHNN,CHNN ) 。 

8.4 非线性系统状态演变的形式

8.5 离散型Hopfield神经网络(DHNN)

离散型Hopfield神经网络是单层全互联的,其表现形式有两种：

网络结构及I/O关系：

两种工作方式：

DHNN的稳定工作点：

DHNN的状态转换：

DHNN能量函数：

DHNN能量极小点的设计：

 离散型Hopfield神经网络适合处理联想记忆问题

       离散型Hopfield神经网络适合处理联想记忆问题，这个联想记忆是什么嘞？

       如上图这个例子，这就是离散型Hopfield网络的工作方式。我们以T这个字母为例，首先生成一张完整的T字形图片，然后将图片映射到神经网络中的每个神经元，即每个像素都对应网络中的一个神经元，T字上的像素映射到网络上的神经元，对应值是1（激活状态），T字外的像素映射到网络上的神经元，对应值为0（抑制状态）。然后进行训练，训练的过程是保持神经元状态不变，通过修改权值，使得当神经元的状态和T字形正好对应的同时，网络的能量函数

        正好到达最低点（关于具体训练过程以及能量函数的书写问题请看后面关于联想记忆、TSP问题、snake_hopfield问题的博文）。训练完成后，网络便存储T这个模式。这样，如果在网络中再输入右图这种加入噪声、只有一半的T字图片（输入过程还是和训练一样，将像素点映射到神经元上），经过网络迭代，不断修改神经元的状态，能量函数到达训练时的最低点时，神经元的状态最终便会变成完整的T字形。训练过程实际就是：由于能量函数是有界的，所以系统最后必趋于稳定状态，并对应于在状态空间的某一局部极小值。适当地选取初始状态，网络状态最终将演化到初始状态附近的极小值。如果存储的模式正好对应于该极小值，则意味着当输入与存储样本相似时，会联想起极小值处的储存样本，所以Hopfield神经网络具有联想记忆功能。

      神经网络能够用于大规模信息处理系统，主要是因为神经网络的动力学行为具有稳定的吸引子。网络的状态向稳定点的运动可以理解为由一个不完整的输入模式向完整模式的演化过程，因而模拟了联想记忆中的信息储存机制。概括的说，神经网络的非线性动力学行为模拟了联想和信息处理过程，这是神经网络用于联想记忆的理论基础。

      离散型Hopfield神经网络的联想记忆实质是：将要存储的记忆样本用矢量表示；神经网络在输入记忆样本后，经过演化最终稳定在记忆样本上；当神经网络的输入为非线性记忆样本时，网络输出应该要么稳定于记忆样本，要么稳定于稳定的非线性样本；不论外部输入为何，神经网络的输出应该是稳定的。

8.6 连续性Hopfield神经网络(CHNN)

     CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。

CHNN的网络模型：

CHNN方程的解及稳定性分析：
        对于CHNN来说，关心的同样是稳定性问题。在所有影响电路系统稳定的参数中，一个比较特殊的参数值是放大器的放大倍数。当放大器的放大倍数足够大时，网络由连续性转化成离散型，状态与输出之间的关系表现了建立函数的形状，而正是激励函数代表了一个网络的特点，所以着重分析不同激励函数关系对系统的稳定性的影响。

关于CHNN的几点结论：
        1)具有良好的收敛性;
        2)具有有限个平衡点﹔
        3)如果平衡点是稳定的，那么它也一定是渐进稳定的;
        4)渐进稳定平衡点为其能量函数的局部极小点﹔
        5）能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点﹔
        6)网络的存储信息表现为神经元之间互连的分布式动态存储﹔
        7)网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。

8.7 连续型Hopfield神经网络解决TSP问题

• 旅行商问题，简称TSP ( Traveling salesman Problem ) 。问题的提法是:设有N个城市﹐, 记为:, 用d表示和 之间的距离，,(i,j=1,2,... ,n)。
• 有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。

洋洋就介绍到这里了，我也是初次学，请大家指教，有问题之间评论或私聊即可，看到就会回复哦，先说好，我不知我什么时候会上线哦，有时候一个星期也不来一次的。哈哈哈！