深度信念网络（DBN）

1.深度信念网络（DBN）是RBM与SBN的混合模型，可以看成叠加的RBM

2.增加层数可以使得RBM模型变得更好的原因是对先验P(h)建模，使得ELBO增大

3.采取贪心逐层训练方法学习DBN的参数

模型介绍

深度信念网络，英文是Deep Belief Network，简称DBN。它是由受限波尔茨曼机（RBM）和Sigmoid信念网络（SBN）构成的混合生成模型（hybrid model）。它的概率图模型可以表示如下：

（注：实际上可以有很多层，图例展示的是四层的DBN模型）

模型的每一个节点都是服从伯努利分布的，这一点跟RBM与SBN假设一致。我们从下往上，最底层是观测变量层，用v表示，然后往上依次是第一层，第二层....每一层的权重用w表示，偏倚项用b表示。

先把它的联合概率分布表示出来：

其中，

它的参数是：

叠加RBM动机

DBN别名又称Stacking RBM——叠加的RBM。我们这一节从RBM视角出发，理解深度信念网络的建立过程。

在受限波尔茨曼机（RBM）文章中，给出了RBM的一般形式：

那么其观测变量的边缘概率分布可以表示为：

现在，我们假设通过对隐变量h层进行建模，固定P(v|h)，对先验P(h)建模，利用RBM进行建模，就得到了深度信念网络（DBN）：

同理可得第一层隐变量的边缘概率分布：

这个就是DBN思想的由来。

那么为什么这样假设的模型就比原来的RBM模型要好呢。我们从ELBO角度来做解释。

ELBO在EM算法一文已详细给出，这里只给出公式：

对ELBO进行化简：

我们知道，Learning问题是使得似然函数达到最大，根据EM算法，实际上是使得ELBO达到最大。现在对隐藏层h1建模，使得P(h1)不再是一个常数，而是可变的，使得ELBO进一步增大。这是增加层数会使得模型变好的原因。

最终我们根据公式：

对后验近似求解DBN，从下往上逐层训练。