【深度学习笔记】Hopfield神经网络

Hopfield神经网络是一种循环神经网络模型，由一组互相连接的神经元组成。其具有如下特征：

• 所有神经元互相连接且不分层。
• 每个神经元既是输入单元又是输出单元。每个神经元的输入与输出只能是1或-1，即有n个神经元的Hopfield神经网络具有$2^n$个状态。
• 具有反馈连接特性，不同神经元之间连接权重对称,神经元和自身没有反馈相连，即神经元集合具有对称性和反自反性。

Hopfield神经网络分为离散型(DHNN)和连续型(CHNN)


Hopfield神经网络提出的时间要比BP神经网络要早，其利用动力学演变对输入进行迭代(迭代的本质是状态转移)，最终得到一个稳态值。稳定状态称为吸引点或吸引子。Hopfield网络定义了能量函数(可以与BP网络的损失函数进行对比，都是最小化函数值)，通过迭代得到的吸引子是能量函数的局部极小点其中一个。

Hopfield网络具有联想记忆功能：
将网络输入$x$作为起始状态，随时间收敛到吸引点$u$上的过程作为检索过程。即使输入向量$x$只包含部分信息或包含噪音，只要其位于对应吸引子的“吸引”区域内，那么随着时间演化，网络最终会收敛到其对应的吸引点。因此，Hopfield的检索是基于内容寻址的检索，具有联想记忆功能。