Hopfield神经网络

1982年，生物物理学家J.Hopfield提出了一种新颖的人工神经网络模型——Hopfield网络模型，引入了能量函数的概念，是一个非线性动力学系统。

(1) 离散的Hopfield网络用于联想记忆

(2) 连续的Hopfield网络用于求解最优化问题

1. 离散型Hopfield神经网络

能量函数：

能量函数E按照迭代一定会下降（证明我一直卡在一个地方，后来发现xi改变了，不仅改变了该节点的能量，而且对其它节点也有影响，故把证明贴上来，免得自己忘记）

证明：

无论x从-1变到1还是从1变到-1，能量都是下降的。

特点：结点输出为-1或+1

用途：联想记忆（自联想，互联想）

(1) 先训练出权值w

(2) 根据输入进行迭代，回忆出联想的结果

2. 连续型Hopfield神经网络

能量函数：

其中f为signmoid函数，能量函数E按照迭代一定会下降（证明请见专门教材）

特点：结点输出为(-1, +1)间的连续值

用途：最优化求解（如TSP问题）

(1) 把目标函数转化为网络的能量函数

(2) 问题的变量对应于网络的状态

(3) 当网络的能量函数收敛于极小值时，网络的状态对应最优解

小结：

优点：成功解决了TSP问题

缺点：因为是贪心算法，故容易陷入局部最小值（解决方法：Boltzmann机引入模拟退火，是其改进）

参考文献：

[1] 马锐. [M] 人工神经网络原理. 机械工业出版社

[2] http://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdfhttp://cs.nju.edu.cn/rinc/course/NN/%E7%AC%AC9%E7%AB%A0%20Hopfield%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%8E%E8%81%94%E6%83%B3%E8%AE%B0%E5%BF%86.pdf