Hopfield神经网络详解

起源

• 根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。
• 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。

网络的状态 ：

• DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。
• 所有神经元状态的集合就构成反馈网络的状态
• 反馈网络的输入就是网络的状态初始值，表示为 X(0)=[x1(0),x2(0),…,xn(0)]T
• 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为
  xj=f(net(j))
• DHNN网的转移函数常采用符号函数
  
• 净输入为
  

网络的异步工作方式

• 网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即
  

网络的同步工作方式

• 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即
  

网络的稳定性

• DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。

• 如果网络是稳定的，它可以从任一初态收敛到一个稳态：

• 若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。

吸引子与能量函数

吸引子

• 网络达到稳定时的状态X，称为网络的 吸引子。

• 若网络的状态X 满足
  X=f(WX-T)
  则称X为网络的吸引子。

• 对于DHNN 网，若按异步方式调整网络状态，且连接权矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。

应用：

• 如果把吸引子视为问题的解，从初态朝吸引子演变的过程便是求解计算的过程。
• 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。

能量函数

可以推到出：

• 由于网络中各节点的状态只能取1 或 –1 ，能量函数E(t)
  作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时ΔE(t)=0

• 综上所述，当网络工作方式和权矩阵均满足条件时，网络最终将收敛到一个吸引子。

  以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。

  实例：
  

  网络的权值设计

• ⑴为保证异步方式工作时网络收敛，W应为对称阵；

• ⑵为保证同步方式工作时网络收敛，W应为非负定对称阵；

• ⑶保证给定样本是网络的吸引子，并且要有一定的吸引域。

讲解：

• TSP问题求解过程
  

  ---