【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）

前言：

{

    最近一直在想要不要去线下的英语学习机构学英语 （本人的英语口语能力实在是低）。如果我想完成今年的年度计划，那么今年就没时间学英语了。

    这次的内容是之前落下的深度置信网络（deep belief network）[1]和其涉及的受限波兹曼机（restricted Boltzmann machine）[2]。不过这次就不看原论文了，而是简单地做一次零散知识的记录。

}

 

正文：

{

    根据[2]中的介绍，一个标准的受限波兹曼机由一层可见层和一层隐藏层组成，其中可见层和隐藏层的值都是布朗（二值）型的。图1是一个受限波兹曼机的结构，其可见层有3个单元，隐藏层有4个单元，没有画出偏置单元。

图1

    式（1）是受限波兹曼机的重要内容——能量函数。

式（1）

    以图1的结构为基准，式（1）中i∈[1,3]，j∈[1,4]，a是可见层单元的权值，b是隐藏层单元的权值，v是可见层单元的值，h是隐藏层单元的值，w是权值。由此可见，a，b，v，h或w越大，能量函数就越小。

    式（2）是概率函数。

式（2）

    其中，为了归一化。

 

    按照[1]的介绍，深度置信网络可以包括受限波兹曼机。

    图2是[3]中的深度置信网络示意图（感觉[1]中的图不是很直观）。

图2

    图3中的网络有4个全连接层。网络的训练分为两部分，第一部分是无监督的，即先把输入层和第一隐藏层当作一个受限波兹曼机，训练完成后把第一隐藏层和第二隐藏层当作一个受限波兹曼机以继续训练，直到训练完图3中处之外的所有层；第二部分是有监督的，其实就是把之前训练好的部分当成了特征提取网络，再加一层分类层以进行分类训练。

    第一部分的训练公式如式（3）。

式（3）

    其中η应该是学习率。的计算需要两部分，分别是和（在一般情况下是标签数据和模型输出数据）。

    和的获得涉及吉布斯采样（Gibbs sampling）[4]，这个内容就先留到下次。

}

 

结语：

{

    我还没有用过这种网络，等到多目标识别搞好了之后可能会尝试一下这种网络。

    都是自己的理解，如有错误欢迎指出。

    参考资料：

    {

        [1]https://en.wikipedia.org/wiki/Deep_belief_network

        [2]https://en.wikipedia.org/wiki/Restricted_Boltzmann_machine

        [3]https://wenku.baidu.com/view/e8ad81550622192e453610661ed9ad51f11d547d.html

        [4]https://en.wikipedia.org/wiki/Gibbs_sampling

    }

}