Gibbs sampling -- batch LDA

  详细的推导我就不记录了，毕竟各种文章中都有讲到LDA的各种实现算法。用variational inference的，用gibbs sampling的。Gibbs sampling又有batch的，online的，incremental的等等。这里只提一种常用的batch gibbs sampling算法，即由Griffiths和Steyers提出的collapsed Gibbs sampler。
  其中batch gibbs sampling 也就是传统的静态数据集上运行的LDA算法，这也是我们这一篇文章所涉及到的，动态的o-LDA和iLDA在以后的文章中讲。结合上一篇文章中提到的Gibbs抽样基本思想来理解，这个抽样器的状态空间是主题在每一篇文章中的词上的分布。该算法被称为“collapsed”是由于它把变量 θ 和 ϕ 都积掉了，只留下隐含主题变量 zN 需要被抽样。这种思想也是统计推断中常用到的，即将不关心的变量都尽量积掉，这样能大大降低算法的时空复杂度。

  对于算法collapsed Gibbs sampler，它的核心就是对单词 j 基于以下条件概率进行抽样：

P(zj|zN∖j,wN)∝n(wj)zj,N∖j+βn(dj)zj,N∖j+αn(∙)zj,N∖j+Wβn(dj)∙,N∖j+Tα

  其中 ZN∖j 表示 (z1,...,zj−1,zj+1,...,zN) ， W 是vocabulary的大小，也就是不同单词的个数。 n(wj)zj,N∖j 表示当前iteration时，单词 wj 被分配为主题 zj 的次数， n(∙)zj,N∖j 是所有词被分配为主题 zj 的个数，等等。

经过算法

1: initialize zN randomly from 1,...,TN
2: loop
3:  choose j from {1,…,N}
4:  sample zj from P(zj|zN∖j,wN)

收敛到后验概率分布 P(zN|wN) 。也就得到了我们所希望求得的每个词所属主题。