DL：Hopfield 神经网络

 

 Hopfield 神经网络（DHNN）

在学习Hinton的stack autoencoder算法（论文 Reducing the Dimensionality of Data with Neural Networks）之前需要了解什么是RBM，现在就我学习的情况，查找的资料（大部分来自博客、论文），简单介绍一下RBM。（当然，这里面还有同组实验的同学提供的资料，借用一下。。。）

目录

RBM简介、网络结构

Hopfield 神经网络

RBM能量模型

RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火

RBM训练算法

RBM评估

1、简介

        1982年，J．Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。

       

        反馈神经网络由于其输出端又反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。（无自反馈的权系数对称的Hopfield网络是稳定的网络）

       Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也叫离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。

2、Hopfield 神经网络

首先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图1-13所示

在图中，第0层仅仅是作为网络的输入，它不是实际神经元，所以无计算功能；而第一层是实际神经元，故而执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效，如果神经元的输出信息大于阈值θ，那么，神经元的输出就取值为1；小于阈值θ，则神经元的输出就取值为θ

 

 

参考文档下载地址