LDA 吉布斯采样（Gibbs Sampling）的公式推导

假设读者已经了解 LDA 的来龙去脉。

需要明确采样的含义：
随机变量是总体，采样就是按照总体的概率分布（指示了样本出现的概率）抽取样本的过程。样本应该能正确反映总体的情况，即样本与总体应该具有相同的统计性质（均值，方差等）。

一、《LDA数学八卦》中的推导

语料库中的第 $i$ 个词对应的主题我们记为 $z_i$，其中 $i=(m,n)$ 是一个二维下标，即语料库中第 $i$ 个词对应于第 $m$ 篇文档的第 $n$ 词，我们用 $\neg i$ 表示去除下标为 $i$ 的词。
那么按照 Gibbs Sampling 的要求，我们要求得任一坐标轴 $i$ 对应的条件分布 $p(z_i=k|Z_{\neg i},W)$，注意这是一个离散型概率分布的抽样。由贝叶斯法则可得（条件概率正比于联合概率）：
$$p(z_i=k|Z_{\neg i},W)\propto p(z_i=k,w_i=t|Z_{\neg i},W_{\neg i})$$
由于$z_i=k,w_i=t$只涉及到第 $m$ 篇文档和第 $k$ 个主题，所以只会涉及到如下两个 Dirichlet-Multinomial 共轭结构

1. $\alpha \to {\theta }_m\to z_m$
2. $\beta \to {\phi }_k\to w_k$

去掉了语料中第 $i$ 个词对应的 $(z_i,w_i)$，并不会改变上面两个共轭结构，只是会减少对应的计数。所以 ${\theta }_m,{\phi }_k$ 的后验分布都还是狄利克雷分布：
$$\begin{gathered} p({\theta }_m|Z_{\neg i},W_{\neg i})=Dir({\theta }_m|n_{m,\neg i}+\alpha ) \\ p({\phi }_k|Z_{\neg i},W_{\neg i})=Dir({\phi }_k|n_{k,\neg i}+\beta ) \end{gathered}$$
注意，$n_{m,\neg i},n_{k,\neg i}$ 都不是双下标，$n_m=(n_m^{(1)},\cdots ,n_m^{(K)})$，$n_m^{(k)}$ 表示第 m 篇文档中第 k 个主题的词的个数，$n_k=(n_k^{(1)},\cdots ,n_k^{(V)})$，$n_k^{(t)}$ 表示第 k 个主题中第 t（词典下标） 个词的个数。$\neg i$ 表示去除下标为 $i$（语料下标） 的词，所以在统计生成 $n_m,n_k$ 这两个向量时，我们可以当做第 m 篇文档中就没有这个词，也就不统计该词相关的计数，$n_{m,\neg i},n_{k,\neg i}$ 表示的就是这样一种含义。

Gibbs Sampling 公式的推导：
$$\begin{array}{rl}p(z_i=k|Z_{\neg i},W)\propto & p(z_i=k,w_i=t|Z_{\neg i},W_{\neg i})\\ =& \int p(z_i=k,w_i=t,{\theta }_m,{\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k,{\theta }_m|Z_{\neg i},W_{\neg i})\cdot p(w_i=t,{\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k|{\theta }_m)p({\theta }_m|Z_{\neg i},W_{\neg i})\cdot p(w_i=t|{\phi }_k)p({\phi }_k|Z_{\neg i},W_{\neg i})\mathrm{d}{\theta }_m\mathrm{d}{\phi }_k\\ =& \int p(z_i=k|{\theta }_m)Dir({\theta }_m|n_{m,\neg i}+\alpha )\mathrm{d}{\theta }_m\cdot \int p(w_i=t|{\phi }_k)Dir({\phi }_k|n_{k,\neg i}+\beta )\mathrm{d}{\phi }_k\\ =& \int {\theta }_{mk}Dir({\theta }_m|n_{m,\neg i}+\alpha )\mathrm{d}{\theta }_m\cdot \int {\phi }_{kt}Dir({\phi }_k|n_{k,\neg i}+\beta )\mathrm{d}{\phi }_k\\ =& E({\theta }_{mk})\cdot E({\phi }_{kt})\\ =& {\hat{\theta }}_{mk}\cdot {\hat{\phi }}_{kt}\end{array}$$

根据狄利克雷分布的期望公式有：
$$\begin{gathered} {\hat{\theta }}_{mk}=\frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k} \\ {\hat{\phi }}_{kt}=\frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t} \end{gathered}$$

所以 LDA 模型的采样公式为：
$$p(z_i=k|Z_{\neg i},W)\propto \frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k}\cdot \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}$$

二、《Parameter estimation for text analysis》中的推导

第一类狄利克雷积分，后面直接当作结论使用，不做证明：
$$\Delta (\alpha )={\int }_{\sum x_i=1}\prod _{i=1}^N{x}_i^{{\alpha }_i-1}\mathrm{d}x$$
考虑一个有狄利克雷先验的一元模型（文档的生成仅依赖于一个词分布），此时只有一个 Dirichlet-Multinomial 共轭结构，有：
$$p(W|\alpha )=\int p(W|p)\cdot p(p|\alpha )\mathrm{d}p$$
对比我们在概率论中学过的全概率公式，可以把这个式子理解为连续型变量的全概率公式。
具体的：
$$\begin{array}{rlr}p(W|\alpha )=& \int \prod _{n=1}^N\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}(w=w_n|p,1)\cdot \mathrm{D}\mathrm{i}\mathrm{r}(p|\alpha )\mathrm{d}p& \\ =& \int \prod _{v=1}^V{p}_v^{n^{(v)}}\cdot \frac{1}{\Delta (\alpha )}\prod _{v=1}^V{p}_v^{{\alpha }_v-1}\mathrm{d}p& \\ =& \frac{1}{\Delta (\alpha )}\int \prod _{v=1}^V{p}_v^{n^{(v)}+{\alpha }_v-1}\mathrm{d}p& |\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}\int \\ =& \frac{\Delta (n+\alpha )}{\Delta (\alpha )},n=\{n^{(v)}{\}}_{v=1}^V& \end{array}$$
其中，$\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}(w=w_n|p,1)$ 表示多项式分布 N 次实验中一次实验的观测结果，最后一步的推导使用了第一类狄利克雷积分。

上面这个推导的意义是，消去了多项式分布的参数 $p$ 的影响，因为它是未知的，仅使用词计数和狄利克雷超参数（伪计数）来表达观察到的语料的概率。

那么对于 LDA 模型来说，就是 K+M 个 Dirichlet-Multinomial 共轭结构。
首先对于 K 个主题的 Dirichlet-Multinomial 共轭结构有：
$$\begin{array}{rl}p(w|z,\beta )=& \int p(w|z,\Phi )p(\Phi |\beta )\mathrm{d}\Phi \\ =& \prod _{k=1}^K\int \frac{1}{\Delta (\beta )}\prod _{t=1}^V{\phi }_{k,t}^{n_k^{(t)}+{\beta }_t-1}\mathrm{d}{\phi }_k\\ =& \prod _{k=1}^K\frac{\Delta (n_k+\beta )}{\Delta (\beta )},n_k=\{n_k^{(t)}{\}}_{t=1}^V\end{array}$$
其次对于 M 个文档的 Dirichlet-Multinomial 共轭结构有：
$$\begin{array}{rl}p(z|\alpha )=& \int p(z|\Theta )p(\Theta |\alpha )\mathrm{d}\Theta \\ =& \prod _{m=1}^M\int \frac{1}{\Delta (\alpha )}\prod _{k=1}^K{\theta }_{m,k}^{n_m^{(k)}+{\alpha }_k-1}\mathrm{d}{\theta }_m\\ =& \prod _{m=1}^M\frac{\Delta (n_m+\alpha )}{\Delta (\alpha )},n_m=\{n_m^{(k)}{\}}_{k=1}^K\end{array}$$
所以模型的联合分布为：
$$p(z,w|\alpha ,\beta )=\prod _{k=1}^K\frac{\Delta (n_k+\beta )}{\Delta (\beta )}\cdot \prod _{m=1}^M\frac{\Delta (n_m+\alpha )}{\Delta (\alpha )}$$
因为 Gibbs Sampling 的要求就是根据条件分布进行采样，所以 LDA 模型的采样公式为：
$$\begin{array}{rlr}p(z_i=k|z_{\neg i},w)=& \frac{p(w,z)}{p(w,z_{\neg i})}=\frac{p(w|z)}{p(w_{\neg i}|z_{\neg i})p(w_i)}\cdot \frac{p(z)}{p(z_{\neg i})}& (1)\\ \propto & \frac{\Delta (n_k+\beta )}{\Delta (n_{k,\neg i}+\beta )}\cdot \frac{\Delta (n_m+\alpha )}{\Delta (n_{m,\neg i}+\alpha )}& (2)\\ =& \frac{\Gamma (n_k^{(t)}+{\beta }_t)\Gamma ({\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t)}{\Gamma (n_{k,\neg i}^{(t)}+{\beta }_t))\Gamma ({\sum }_{t=1}^V{n}_k^{(t)}+{\beta }_t)}\cdot \frac{\Gamma (n_m^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_{m,\neg i}^{(k)}+{\alpha }_k)}{\Gamma (n_{m,\neg i}^{(k)}+{\alpha }_k)\Gamma ({\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k)}& (3)\\ =& \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}\cdot \frac{n_{m,\neg i}^{(k)}+{\alpha }_k}{[{\sum }_{k=1}^K{n}_m^{(k)}+{\alpha }_k]-1}& (4)\\ \propto & \frac{n_{k,\neg i}^{(t)}+{\beta }_t}{{\sum }_{t=1}^V{n}_{k,\neg i}^{(t)}+{\beta }_t}\cdot (n_{m,\neg i}^{(k)}+{\alpha }_k)& (5)\end{array}$$
上面的公式推导做以下五点解释：

1. (1) 式和 (2) 式正比，是因为 $p(w_i)$ 是一个常数；由于 $\neg i$ 只涉及两个共轭结构，所以 (1) 式到 (2) 式约去了相同的 $\Delta$ 函数。
2. (2) 式到 (3) 式，同样是因为 i 只与第 k 个主题和第 m 篇文档有关，将 $\Delta$ 函数展开成 $\Gamma$ 函数后，约去了相同的 $\Gamma$ 函数。
3. (3) 式到 (4) 式利用了 $\Gamma$ 函数的性质：$\Gamma (x+1)=x\Gamma (x)$，进行约去。
4. (4) 式里有一个减 1，是因为把第 m 篇文档里要去掉的那个计数分离了出来。
5. 因为第 m 篇文档的单词数是已知的，所以 (4) 式和 (5) 式是正比关系。

三、原来对 LDA 的一个疑惑，以及解答

疑问：LDA 并没有做任何词语语义方面的工作，仅仅是做一些数量上的统计，它是怎么挖掘出文档具有语义含义的主题的呢？

LDA 本质上是对词进行了聚类（依据某方面的相似度），聚的这个类就是主题。换句话说就是，按照主题给词进行了聚类。

既然没有做词语义方面的工作，那词之间的相似度是怎么确定的呢？
读完 LDA 著名的科普文章《Parameter estimation for text analysis》，它里面提到潜在主题是高阶共现的结果，即，t1 和 t2 共现，t2 和 t3 共现，表明 t1 和 t3 是一个二阶共现，以此类推。（共现，在不同上下文中共同出现。两个词越经常在不同的上下文共现，就越表示这两个词相似。）