深度学习算法：CD算法（Contrastive Divergence）

From： http://blog.csdn.net/qian2729/article/details/50542764

尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(Contrastive Divergence)。与Gibbs采样不同，Hinton指出，当使用训练数据初始化v0时，我们仅需要使用k（通常k＝1）步Gibbs采样就可以得到足够好的近似。在CD算法一开始，可见单元的状态被设置成一个训练样本，并利用以下公式计算隐藏层单元的二值状态，在所有隐藏单元状态确定了之后，根据下面公式2来确定每个可见单元取值为1的概率。进而得到可见层的一个重构。然后将重构的可见层作为真实的模型带入RBM的Δ中，就可以进行梯度下降算法了。 
p(hi=1|v)=sigmoid(ci+Wiv) 
p(vj=1|h)=sigmoid(bj+W′jh)

RBM基于CD的快速学习算法主要步骤如下

#输入：一个训练样本x0;隐藏层单元个数m,学习速率alpha,最大训练周期T#输出：链接权重矩阵W,可见层的偏置向量a

,隐藏层的偏置向量b#训练阶段：初始化可见层单元的状态为v1 = x0;W,a,b为随机的较小的数值

for t = 1:T    for j = 1:m #对所有隐藏单元        P(h1j=1|v1)=sigmoid(bj + sum_i(v1i * Wij));    

               for i = 1:n#对于所有可见单元        p(v2i=1|h1)=sigmoid(ai + sum_j(Wij * h1j)    

               for j = 1:m #对所有隐藏单元        P(h2j=1|v2)=sigmoid(bj+sum_j(v2i*Wij))    W = W + alpha * (P(h1=1|v1)*v1 - P(h2=1|v2)*v2)    a = a + alpha * (v1 - v2)    b = b + alpha*(P(h1=1|v1) - P(h2=1|v2))

Code：http://blog.csdn.net/liugan5371375/article/details/51279490