RBM中的Pseudo-likelihood的理解

最近在看RBM的theano代码，看到pseudo-likelihood卡了一会，这个之前看RBM理论没有看到过。它解释的有点跳跃，我拿笔推导了一下，发现这个还是很有亮点的。看别人写博客很勤快的，我也要强迫自己多写写，就上来水一篇。

deeplearning的教程如图所示

其实这个PL的作用就是代替似然函数，RBM的似然函数由于包含
Z=∑v,he−E(v,h) ，计算复杂度很大，不能直接计算。

看PL的定义

PL(x)=∏iP(xi|x−i)

PL假设各个点之间的概率都是独立的，则 P(xi) 与 P(xi|x−i) 实际上是等价的。 LogPL(x) 就没有什么解释的了。至于 g 的作用是由于图片点太多，每次遍历所有点，代价太大所以每次用一个点代替全局，每个点符合均匀分布。

接下来重点解释一下最后一条式子，首先，你得知道自由能量函数 F(x) 的定义，这个在deeplearning的教程上有说明，我在此直接给出自由函数能量 F(x) 和 P(x) 的关系，以便下面推导。

P(x)=e−F(x)Z

推导见下图吧，还是习惯mathtype

其中 P(xi˜) 表示 P(xi) 的翻转，而 P(x˜i) 的定义即上图中的定于。中间有一个近似

P(x)P(xi)+P(x˜)P(x˜i)≈P(x)+P(x˜)

这样就避免计算复杂度极大的 Z 。