RBM，DBM和DBN之间有什么区别？

Alan Lockett，博士 人工智能，德克萨斯大学奥斯汀分校（2012年）

2017年5月10日回复

 

RBM和DBM是具有不同但相关的拓扑的图形模型。DBN是基于堆叠RBM的计算模型，但是不对应于任何特定概率模型。

更详细地说，玻尔兹曼机器（BMs）是在1980年代基于统计物理学提出的。BM是一种图形模型，具有跨越一组可见节点和一组隐藏节点的无向链接。每个节点都是一个随机变量，并且具有指示其激活倾向的偏差。每个链接都有一个权重，表示节点之间的交互强度。通常，可见节点的值作为输入给出，并且一个试图以隐藏节点为条件推断隐藏节点的值。在二进制模型中，给定所有其他节点的状态，任何特定节点都具有伯努利分布，其参数证明是逻辑神经元。

限制玻尔兹曼机（RBM）是一种BM，其中每个可见节点都连接到每个隐藏节点。通常没有其他连接。这将RBM转换为二分图，这意味着可以以块推断节点的值，首先推断所有可见节点，然后推断所有隐藏节点。因此，RBM被认为是一个双层神经网络，有一个可见层和一个隐藏层。这些公式恰好是具有逻辑激活的前馈神经网络（假设隐藏节点是二进制的）。但是训练是不同的，通常使用具有持久性马尔可夫链的对比分歧（CD），尽管近年来已经开发出用于推断权重和偏差的新技术。特别是CD导致准Hebbian更新规则。

深度信任网络（DBN）是通过一次一个地训练RBM然后将它们堆叠在彼此之上以便推断连续的隐藏层而形成的。一旦RBM被堆叠，它就会改变堆栈中下RBM的隐藏值的先验分布（先前现在由上层而不是下层的隐藏偏差确定）。由于隐藏节点的先前已经改变，这意味着隐藏节点的条件推断未通过前馈传递正确完成。只有最顶层的RBM仍然是“正确”的图形模型。尽管如此，DBN相对容易编码，并且只需几层就可以很好地工作。更有针对性的是，DBN可用于初始化深度神经网络，该网络可通过反向传播轻松快速地进行微调。见Hinton，Osindero和Teh，2006。

深度信念机器（DBM）将DBN转变为完整的无向图形模型。它与RBM的连接具有不同的连接。DBM将隐藏节点分组为几个隐藏层h1，... ，hñH1，...，Hñ约束条件是可见层仅连接到第一个隐藏层，然后每个隐藏层仅连接到其下方和上方的层，没有横向连接（参见http：//www.utstat.toronto的图2）.edu / ~r ...）。RBM具有非常简单的推理规则，而DBM中的推断是近似的，并且取决于通过隐藏层的多次通过。为了推断隐藏层的状态，您需要知道它上面和下面的层的状态，因此您必须进行某种迭代采样以找到隐藏状态（例如，Gibbs采样）。很明显，DBM是一种BM。

所以最终你要谈的是三种不同的模型，其中两种是图形模型（RBM和DBM），第三种是RBM的启发式应用，以实现深度的外观。