RBM算法理解及推导

现在重新复习一下RBM算法，发现有一个新的发现。

首先给出几个非常好的博客：

（1）关于MCMC采样及Gibbs采样：http://blog.csdn.net/pipisorry/article/details/51373090

（2）关于MCMC采样的形象解释及理解：https://www.zhihu.com/question/20743905/answer/155412666

（3）关于RBM的推导：http://blog.csdn.net/itplus/article/details/19168989

一些要点：

1、根据能量模型得到的概率竟然和经典的sigmod相一致，这也一定程度上提供了sigmod在物理上的解释；

2、在RBM求解过程中，需要求解一个在全局意义下的期望值，求这个期望值，需要知道输入数据的所有

可能值得概率值。

3、最简单的方法是用MCMC算法进行采样（这样的采样不需要模型的参与，只需要使用输入数据即可进行

MCMC采样），当然这个很麻烦，需要很多步才能收敛。

4、另外，还可以采用Gibbs采样，这里的Gibbs采样由需要知道某些条件概率，而这个条件概率与当前模型

有关，因此用Gibbs采样需要用到当前模型中的参数a,W,b等。然而在训练过程中，用这些参数得到的条件

概率并非是真正输入数据的概率（因为这些参数还没训练好），只不过这些参数得到的概率在逐渐训练过程中，

会慢慢的趋近于真正输入数据的概率，因此可以用Gibbs采样粗略的模拟真正输入的概率。

而CD-k（对比散度算法）其实就是Gibbs采样，只不过初始值是训练数据而已。

自己整理的RBM算法的推导如下两个图：