从三硬币到主题模型（LDA，Latent Dirichlet Allocation）

从三硬币到1+K个多面体

三硬币问题建模及Gibbs采样求解（Python实现）一文中详细介绍了三硬币问题的建模和使用Gibbs采样求解的方法。如果把三枚硬币换成一个K面体和K个V面体呢？或者变成M个K面体和K个V面体呢？

1+K个多面体

假设1+N个多面体，第一个多面体记为A，有K个面，每个面由1～K的数字标识，每个面朝上的概率$p=\{p_1,p_2,\dots ,p_K\}$，剩余的K个多面体用1～K编号，每个多面体有V个面，编号1～V，某个面朝上的概率$q=\{q_1,q_2,\dots ,q_V\}$。进行如下实验：首先投掷多面体A，如果数字k朝上，则投掷编号为k的V面体，记下朝上的数字作为观测值，独立地重复M次观测结果记为$X=\{x_1,x_2,\dots ,x_M\}$。同样只能观察投掷多面体的结果，不能观测投掷多面体的的过程，估计参数$p$和$q$。

分析与建模

1+N个多面体个多面体问题与三硬币问题除了面数更多一点之外，和三硬币问题并没有区别，概率图模型也一样：

同样是$\alpha \to \theta \to z_m$和 $\beta \to {\varphi }_k\to x_m|k=z_m$ 两个过程，但$z$服从多项分布而不是二项分布：
$$P(z|\theta )=\prod _{i=1}^K{\theta }_i^{n_i}$$

其中$n_i$表示i面朝上的次数。二项分布可以使用Beta分布作为参数的先验分布，多项分布是二项分布在多维上的扩展，很容易想到使用Beta分布在多维分布上的扩展作为多项分布参数的先验分布。Beta分布在多维上的扩展是Dirchlet分布，定义为：

$$Dirchlet(u|\alpha )=\frac{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_K)}{\Gamma ({\alpha }_1)+\Gamma ({\alpha }_2)+\cdots +\Gamma ({\alpha }_K)}\prod ^K{u}_k^{{\alpha }_k-1}$$

Dirchlet分布的期望为：

$$E(u_i)=\frac{{\alpha }_i}{{\sum }_{i=1}^K{\alpha }_i}$$

同三硬币问题，Multi-Direchlet共轭结构的后验分布是Direchlet分布：

$$P(\theta |z)\sim Dirchlet(\theta |\alpha +n)$$

取后验分布的期望为参数的值，则：

$$\theta =(\frac{n_1+{\alpha }_1}{{\sum }_{i=1}^K(n_i+{\alpha }_i)},\frac{n_2+{\alpha }_2}{{\sum }_{i=1}^K(n_i+{\alpha }_i)},\cdots ,\frac{n_K+{\alpha }_K}{{\sum }_{i=1}^K(n_i+{\alpha }_i)})$$

$\alpha \to \theta \to z_m$的的条件分布：

$$\begin{array}{rl}P(z|\alpha )& =\int P(z|\theta )P(\theta |\alpha )d\theta \\ & =\int \prod _{k=1}^K{\theta }_k^{n_k}Dirchlet(\theta |\alpha )d\theta \\ & =\int \prod _{k=1}^K{\theta }_k^{n_k}\frac{1}{\Delta (\alpha )}\prod _{k=1}^K{\theta }_k^{{\alpha }_k-1}d\theta \\ & =\frac{1}{\Delta (\alpha )}\int {\theta }_k^{n_k}\prod _{k=1}^K{\theta }^{{\alpha }_k-1}d\theta \\ & =\frac{\Delta (\alpha +n)}{\Delta (\alpha )}\end{array}$$

其中$\Delta (\alpha )=\frac{\Gamma ({\alpha }_1)+\Gamma ({\alpha }_2)+\cdots +\Gamma ({\alpha }_K)}{\Gamma ({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_K)}$是Dirchlet分布的归一化参数。

如果已知每次观测结果来自哪个多面体，任何两次观测结果都是可交换的，将来自同一多面体的观测结果放在一起

$$x^{\prime }=(x_1,x_2,\dots ,x_K)$$

$$x^{\prime }=(z_1,z_2,\dots ,z_K)$$

对于来自多面体k的观测结果，同上$P(x_k|{\varphi }_k)\sim Multi(n_k,{\varphi }_k)$，参数${\varphi }_k\sim Dirchlet({\varphi }_k|{\beta }_k)$，组Multi-Dirchlet共轭分布。
因后验分布$P({\varphi }_k|x_k)\sim Dirchlet({\varphi }_k|{\beta }_k+n_k)$，所以参数的解为：

$${\varphi }_k=(\frac{n_{k,1}+{\alpha }_{k,1}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})},\frac{n_{k,2}+{\alpha }_{k,2}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})},\cdots ,\frac{n_{k,V}+{\alpha }_{k,V}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})})$$

其中$n_{k,i}$表示观测结果中第k个多面体i面朝上的次数。

$\beta \to {\varphi }_k\to x_m|k=z_m$的条件分布：
$$P(x_k|z_k,{\beta }_k)=\frac{\Delta ({\beta }_k+n_k)}{\Delta ({\beta }_k)}$$

$n_k$是一个V维的向量，表示来自第k个多面各个观测值出现的次数。

$$\begin{array}{rl}P(x|z,\beta )& =P(x^{\prime }|z^{\prime },{\beta }^{\prime })\\ & =\prod _{k=1}^{K}P(x_k|z_k,{\beta }_k)\\ & =\prod _{k=1}^K\frac{\Delta ({\beta }_k+n_k)}{\Delta ({\beta }_k)}\end{array}$$

结合以上公式，可以得到联合分布：

$$p(x,z|\alpha ,\beta )=p(z|\alpha )p(x|z,\beta )=\frac{\Delta (\alpha +n)}{\Delta (\alpha )}\prod _{k=1}^K\frac{\Delta ({\beta }_k+n_k)}{\Delta ({\beta }_k)}$$

联合概率分布是1+K个Multi-Dirchlet共轭结构。

Gibbs采样求解

Gibbs采样求解过程与三硬币相同，只需要将Beta分布换成Dirchlet分布即可。这里仅简要的写出推导过程。不理解的可以回头看看三硬币问题建模及Gibbs采样求解（Python实现）

$$\begin{array}{rl}p(z_i=k|z_{\neg i},x)& =p(z_i=k|x_i=t,z_{\neg i},x_{\neg i})\\ & =\frac{p(z_i=k,x_i=t|z_{\neg i},x_{\neg i})}{p(x_i=t|z_{\neg i},x_{\neg i})}\\ & \propto p(z_i=k,x_i=t|z_{\neg i},x_{\neg i})\end{array}$$

去掉第i次观测结果对1+K个Multi-Dirchlet结构没有影响，仅影响该次观测结果所属多面体的一些计数，

$$P(\theta |z_{\neg i},x_{\neg i})=Dirchlet(\theta |\alpha +n_{\neg i})$$

$$P({\varphi }_k|z_{k,\neg i},x_{k,\neg i})\sim Dirchlet({\varphi }_k|{\beta }_k+n_{k,\neg i})$$

其余k-1个Multi-Dirchlet结构是独立的，所以，条件分布：

$$\begin{array}{rl}P(z_i=k|z_{\neg i},x)& \propto P(z_i=k,x_i=t|z_{\neg i},x_{\neg i})\\ & =\int P(z_i=k,x_i=t,\theta ,{\varphi }_k|z_{\neg i},x_{\neg i})d\theta d{\varphi }_k\\ & =\int P(z_i=k,\theta |z_{\neg i},x_{\neg i})P(x_i=t,{\varphi }_k|z_{\neg i},x_{\neg i})d\theta d{\varphi }_k\\ & =\int P(z_i=k,\theta |z_{\neg i},x_{\neg i})d\theta \int P(x_i=t,{\varphi }_k|z_{k,\neg i},x_{k,\neg i})d{\varphi }_k\\ & =\int P(z_i=k|\theta )P(\theta |z_{\neg i},x_{\neg i})d\theta \int P(x_i=t|{\varphi }_k)P({\varphi }_k|z_{k,\neg i},x_{k,\neg i})d{\varphi }_k\\ & =\int {\theta }_{k}Dirchlet(\theta |\alpha +n_{\neg i})d\theta \int {\varphi }_{k,t}Dirchlet({\varphi }_k|{\beta }_k+n_{k,\neg i})d{\varphi }_k\\ & =E({\theta }_k)E({\varphi }_{k,t})\\ & ={\hat{\theta }}_k{\hat{\varphi }}_{k,t}\end{array}$$

因：

$${\hat{\theta }}_k=\frac{n_{k,\neg i}+{\alpha }_k}{{\sum }_{k=1}^K(n_{k,\neg i}+{\alpha }_k)}$$

$${\hat{\varphi }}_{k,t}=\frac{n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t}{{\sum }_{t=1}^V(n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t)}$$

于是，得到最终模型的Gibbs采样公式：

$$P(z=k_i|z_{\neg i},x)\propto \frac{n_{k,\neg i}+{\alpha }_k}{{\sum }_{i=1}^K(n_{k,\neg i}+{\alpha }_k)}\cdot \frac{n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t}{{\sum }_{t=1}^V(n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t)}$$

M+K个多面体

进一步修改规则：假设有M个K面体和K个V面体，进行M次观测。每次观测时，先从M个K面体中无放回的随机取出一个（每个多面体被取出的概率是相同的），然后按照1+K个多面体的规则生成观测值（每个K面体对应的观测次数不是固定值）。最终得到观测值：
$$\{\{x_{1,1},x_{1,2},\dots ,x_{1,N_1}\},\{x_{2,1},x_{2,2},\dots ,x_{1,N_2}\},\dots ,\{x_{M,1},x_{M,2},\dots ,x_{M,N_M}\}\}$$
求每个多面体各个面朝上的概率。

M+K个多面体可以看作是M个1+K个多面体问题，但这M个1+K个多面体问题共享K个多面体。因此共有M+K个Mulit-Dirchlet共轭结构。参考1+K个多面体问题，可以得到一下结论：
$${\theta }_m=(\frac{n_{m,1}+{\alpha }_{m,1}}{{\sum }_{i=1}^K(n_{m,i}+{\alpha }_{m,i})},\frac{n_{m,2}+{\alpha }_{m,2}}{{\sum }_{i=1}^K(n_{m,i}+{\alpha }_{m,i})},\cdots ,\frac{n_{m,K}+{\alpha }_{m,K}}{{\sum }_{i=1}^K(n_{m,i}+{\alpha }_{m,i})})$$

$$\begin{array}{rl}P(z|\alpha )& =\prod _{m=1}^{M}P(z_m|{\alpha }_m)\\ & =\prod _{m=1}^M\int {P(z_m|{\theta }_m)P({\theta }_m|{\alpha }_m)d\theta }_m\\ & =\prod _{m=1}^M\frac{\Delta ({\alpha }_m+n_m)}{\Delta ({\alpha }_m)}\end{array}$$
其中$n_m$是一个k维向量，表示第m论观测结果中，使用第i个V面体的次数。

$${\varphi }_k=(\frac{n_{k,1}+{\alpha }_{k,1}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})},\frac{n_{k,2}+{\alpha }_{k,2}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})},\cdots ,\frac{n_{k,V}+{\alpha }_{k,V}}{{\sum }_{i=1}^V(n_{k,i}+{\alpha }_{k,i})})$$

$$P(x|z,\beta )=\prod _{k=1}^{K}P(x_k|z_k,{\beta }_k)=\prod _{k=1}^K\frac{\Delta ({\beta }_k+n_k)}{\Delta ({\beta }_k)}$$
其中$n_k$是一个V维向量，表示第k个V面体各个面朝上的次数

$$p(x,z|\alpha ,\beta )=p(z|\alpha )p(x|z,\beta )=\prod _{m=1}^M\frac{\Delta ({\alpha }_m+n_m)}{\Delta ({\alpha }_m)}\prod _{k=1}^K\frac{\Delta ({\beta }_k+n_k)}{\Delta ({\beta }_k)}$$

同理用Gibbs采样时条件概率为：
$$\begin{array}{rl}P(z_i=k|z_{\neg i},x)& \propto P(z_i=k,x_i=t|z_{\neg i},x_{\neg i})\\ & =\int P(z_i=k,x_i=t,{\theta }_m,{\varphi }_k|z_{\neg i},x_{\neg i})d{\theta }_{m}d{\varphi }_k\\ & =\int P(z_i=k,{\theta }_m|z_{\neg i},x_{\neg i})P(x_i=t,{\varphi }_k|z_{\neg i},x_{\neg i})d{\theta }_{m}d{\varphi }_k\\ & =\int P(z_i=k,{\theta }_m|z_{\neg i},x_{\neg i})d{\theta }_m\int P(x_i=t,{\varphi }_k|z_{k,\neg i},x_{k,\neg i})d{\varphi }_k\\ & =\int P(z_i=k|{\theta }_m)P({\theta }_m|z_{\neg i},x_{\neg i})d{\theta }_m\int P(x_i=t|{\varphi }_k)P({\varphi }_k|z_{k,\neg i},x_{k,\neg i})d{\varphi }_k\\ & =\int {\theta }_{m,k}Dirchlet(\theta |\alpha +n_{\neg i})d{\theta }_m\int {\varphi }_{k,t}Dirchlet({\varphi }_k|{\beta }_k+n_{k,\neg i})d{\varphi }_k\\ & =E({\theta }_{m,k})E({\varphi }_{k,t})\\ & ={\hat{\theta }}_{m,k}{\hat{\varphi }}_{k,t}\end{array}$$

于是，得到最终模型的Gibbs采样公式：

$$P(z=k_i|z_{\neg i},x)\propto \frac{n_{k,\neg i}^m+{\alpha }_k^m}{{\sum }_{i=1}^K(n_{k,\neg i}^m+{\alpha }_k^m)}\cdot \frac{n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t}{{\sum }_{t=1}^V(n_{k,\neg i}^t+{\alpha }_{k,\neg i}^t)}$$

主题模型(LDA，Latent Dirichlet Allocation)

看到这里，细心的读者已经发现：M+K个多面体问题不就是主题模型吗？M轮观测结果相当于M篇文档，${\theta }_m$不就是第m篇文档的主题分布吗？${\varphi }_k$不就是第k个主题的主题词分布吗？的确是这样的。

LDA是一种文档生成模型。它认为一篇文章是有多个主题的，而每个主题又对应着不同的词。语料库的生成过程如下：

• 共有m篇文章，一共涉及了K个主题
• 每篇文章（长度为${\mathbb{N}}_m$）都有各自的主题分布
• 主题分布是多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为$\alpha$
• 每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为$\beta$
• 对于某篇文章中的第n个词，首先从该文章 的主题分布中采样一个主题，然后在这个主题对应的词分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。

LDA模型是词袋模型的一种，认为文档和文档之间、文档中的词与词之间是独立可交换的。

参考

1. Blei, David M., et al. “Latent Dirichlet Allocation.” Journal of Machine Learning Research, vol. 3, 2003, pp. 993–1022.
2. 靳志辉《LDA数学八卦》