Hopfield 神经网络 笔记

定义与概念

Hopfield神经网络是一种反馈神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfield网络也提供了模拟人类记忆的模型。

离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如 －1）。 整个网络有两种工作方式：即异步方式和同步方式。
前馈网络、反馈网络与图网络区别

其结构图如下：

其中：

• 该网络只有一层神经元即1~n，空心圆圈只为表示其自反馈以及其他神经元相连接部分；
• DHNN没有自反馈，所以图中的W_nn即为0
• X为输出，$\theta$为阈值

计算与推导

工作方式

离散Hopfield网络有异步和同步两种工作模式，接下来分别介绍。

异步工作模式

一次只更新一个单元。，其他状态保持不变。这个单元可以随机挑选，也可以从一开始就强加一个预定义的顺序。

对于第i个神经元其工作状态计算如下：

其中：（由上至下分别为1 2 3式）

• 1式表示第i个神经元下一时刻状态等于其与其他所有神经元当前状态之和再减去阈值再通过激活函数做变换所得的结构
• 2式表示非第i个神经元的其它神经元状态维持不变
• 3式为总结，DHNN往往只有两个状态（1 0）或者（ 1 -1）这取决于采用何种激活函数（阶跃函数 或 sgn函数）

同步工作模式

所有单位同时更新。 这需要系统的中央时钟以保持同步。
同理：

• 所有神经元状态同时更新
  由于其所有神经元同时变化，故可采用矩阵描述其工作状态：
  
  其中：
  
  即可表示1~n个神经元同时更新，$f（x）$表示激活函数，同样地，其函数值常为1 0或1 -1。

一个结论

如果DHNN的权重矩阵{W_ij}对角元素皆为0为正定且对称的$⟹$该网络稳定

• 其结论不可反推，即充分不必要

能量函数

即为李雅普诺夫函数，为了确定网络的稳定性。

关于神经网络的稳定性需联系到神经动力学：
Hopfield神经网络按神经动力学的方式进行运行，工作过程为状态的演化过程，对于给定的初始状态，按照能力减小的方式演化，最终达到稳定的状态。神经动力学分为确定性神经动力学和统计性的神将动力学，前者将神经网络作为确定性行为，用非线性微分方程来描述，方程的解以概率的方式给出。
网络从初态开始$X_0$，若能经过有限次递归后$X(t+1)=X(t)$，其状态不在发生变化即,则称为网络是稳定的，如果网络是稳定的，他可以从任意初态收敛到稳态，反之如果网络不稳定，但是因为每个神经元只有两个状态即0,1，因此在整体也不会呈现发散的状态，可能出现限幅的自持振荡，这种网络成为有限环网络，如果网络转态即不重复也不停止。转态变化无情多个，则为混沌现象。如下图所示：

此部分内容转载自链接
其中稳定状态X称作吸引子，越远离吸引子其能量越大。故可用能量函数来判定网络稳定性：当整个网络的能量函数逐渐收敛0时其网络稳定或渐进稳定。

其中：

• 1式表示单个神经元能量函数形式：-神经元未经激活的输出*其本身的输出
• 2式表示整个网络能量函数
• 3式为2式矩阵形式
  有了上述基础，接下来便可以判定稳定性了：
  
  其中：
• 当系统处于稳定状态$\delta E\le 0$ .
• 当$\delta E\le 0$时，由x_i 组成的X即为吸引子同时为为网络的输出。

权重矩阵的确定

外积法

其中：

• 减去I使得矩阵对角元素全为零

伪逆法

一个例子

• DHNN当样本匮乏时效果降低

拓展

连续型hopfied网络（CHNN）

其结构图与离散型hopfied网络一致，用输出表达式如下：