六、受限玻尔兹曼机(RBM)

受限玻尔兹曼机(RBM

1、玻尔兹曼分布

         玻尔兹曼分布是统计物理中的一种概率分布,描述系统处于某种状态的概率

       

 

2、网络结构

         可见单元-输入数据

         隐藏单元-计算得到的结果

         二部图-图的节点集合被划分成两个不相交的子集,这两个子集内的节点之间没有边连接,子集之间的节点之间有边连接

         六、受限玻尔兹曼机(RBM)_第1张图片

         可见单元和隐藏单元的值服从玻尔兹曼分布

 

         能量定义为

        

         归一化因子为

        

 

3、实际例子

六、受限玻尔兹曼机(RBM)_第2张图片

 

4、计算隐藏单元的条件概率

         实际使用时,给定可见变量的值,根据模型参数可以得到隐藏变量的条件概率密度函数

         根据条件概率的计算公式

        

         将p(v,h)的定义带入上式

         六、受限玻尔兹曼机(RBM)_第3张图片

5、计算单个隐藏单元的值

         隐含节点之间没有连接,因此这些随机变量是相互独立的

        

         已知可见变量时某一隐含变量的值为1的概率

         六、受限玻尔兹曼机(RBM)_第4张图片

6、用于特征提取

         可见单元作为输入数据,隐藏单元作为特征向量

         计算隐藏层神经元的激励能量

        

         计算该隐藏单元的条件概率值,即状态为1的概率

        

         以Pi的概率将隐藏层神经元的状态值设置为1,以1-Pi的概率值将其设置为0

 

7、训练算法

         Contrastive Divergence

         获取一个训练样本,根据该样本设置网络的可见单元

         对于隐藏单元,计算它的激励能量

        

         计算概率值

        

以Pi的概率将隐藏层神经元的状态值设置为1,以1-Pi的概率值将其设置为0

为每一条边计算如下值

        

         用类似的方法重构每个可见单元,计算它的激励能量,并更新它的状态

        再次更新隐藏单元状态,并对每条边计算   

         更新每条边的权重

        

 

8、深度波尔茨曼机

         Deep Boltzmann Machine

         可以将多个受限玻尔兹曼机层叠加起来使用

         通过多层的受限玻尔兹曼机,可以完成数据在不同层次上的特征提取和抽象

         训练时,逐层训练

你可能感兴趣的:(Deep,Learning)