通俗理解LDA主题模型

理解LDA，可以分为如下5个步骤：

• 一个函数：gamma函数
• 四个分布：二项分布、多项分布、beta分布、Dirichlet分布
• 两个模型：PLSA、LDA
• 一个采样：Gibbs采样

本文按照上述五个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的理解。

gamma函数

整体把握LDA

关于LDA·有两种含义，一种是线性判别分析(Liner Discriminant Analysis),一种是概率主题模型：隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA)，本文讲后者。

首先，简单说下LDA的整体思想，明白整体框架后，咱们再一步步抽丝剥茧，展开来论述。

根据维基百科的介绍，LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，是一种主题模型，它可以将文档集 中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。

此外，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

人类是怎么生成文档的呢？LDA的这三位作者在原始论文中给了一个简单的例子。比如假设事先给定了这几个主题：Arts、Budgets、Children、Education，然后通过学习训练，获取每个主题Topic对应的词语。如下图所示：

然后以一定的概率选取上述某个主题，再议一定的概率选取那个主题下的某个单词，不断地重复这两步，最终生成如下图所示的一篇文章(其中不同颜色的词语分别对应上图中不同主题的词)：

而当我们看到一篇文章后，往往喜欢推测这篇文章是如何生成的，我们可能会认为作者先确定这篇文章的几个主题，然后围绕这几个主题遣词造句，表达成文。

LDA就是要干这件事：根据给定的一篇文档，反推其主题分布。

通俗来说，可以假定认为人类是根据上述文档生成过程写成了各种各样的文章，现在某小撮人想让计算机利用LDA干一件事：你计算机给我推测分析网络上各篇文章分别都写了些啥主题，且各篇文章中各个主题出现的概率大小（主题分布）是啥。

但是，就是这么一个看似普通的LDA，一度吓退了不少想深入探究其内部原理的初学者。难在哪呢，难就难在LDA内部涉及到的数学知识点太多了。

在LDA模型中，一篇文档生成的方式如下：

• 从狄利克雷分布$\alpha$中取样生成文档 $i$ 的主题分布${\theta }_i$
• 从主题的多项式分布${\theta }_i$中取样生成文档$i$第 $j$ 个词的主题$z_{i,j}$
• 从狄利克雷分布$\beta$中取样生成主题$z_{i,j}$对应的词语分布${\varphi }_{z_{i,j}}$
• 从词语的多项式分布${\varphi }_{z_{i,j}}$中采样最终生成词语$w_{i,j}$

其中，类似$Beta$分布是二项式分布的共轭先验概率分布，而狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验概率分布。

此外，LDA的图模型结构如下图所示：

嗯， 不错，短短6句话整体概括了整个LDA的主体思想！但也就是上面短短6句话，却接连不断或重复出现了二项分布、多项式分布、beta分布、狄利克雷分布(Dirchlet分布)、共轭先验概率分布、取样，下面，我们依次分别介绍他们。

二项分布(Binomial distribution)

二项分布是从伯努利分布推出来的。
伯努利分布：在一次实验中，事件A出现的概率为$p$,不出现的概率为$q=1-p$.若以$\beta$记事件A出现的次数，则$\beta$仅取0,1两值，相应的概率分布为：
$$b_k=P\beta =k=p^k{q}^{(1-k)}),k=0,1$$

二项分布是指在只有两个结果的$n$次独立的伯努利试验中，所期望的结果出现次数的概率。在单次试验中，结果$A$出现的概率为$p$，结果$B$出现的概率为$q$，$p+q=1$。那么在$n=10$，即10次试验中，结果A出现0次、1次、……、10次的概率各是多少呢？这样的概率分布呈现出什么特征呢？这就是二项分布所研究的内容。

还是先举个例子吧。

掷一枚硬币,出现正面和反面的概率各为0.5，那么掷1次，出现正面的概率肯定是0.5。掷2次、掷3次呢？

掷2次出现的结果有4个，正正、正反、反正、反反。因为p=0.5，所以每个结果出现的概率是0.5×0.5=0.25，那正面出现2次、1次、0次的概率分别是0.25、0.5、0.25。

掷3次出现的结果有8个，正正正、正正反、正反正、正反反、反正正、反正反、反反正、反反反。每个结果出现的概率是0.5×0.5×0.5=0.125，那正面出现3次、2次、1次、0次的概率分别是0.125、0.375、0.375、0.125。

统计学家们总结出了计算概率的一般公式
$$b(x,n,p)=C_n^x{p}^x{q}^{n-x}$$

其中$b$表示二项分布的概率，$n$表示试验次数，$x$表示出现某个结果的次数。是组合，表示在$n$次试验中出现x次结果的可能的次数。如10次试验，出现0次正面的次数有1次，出现1次正面的次数有10次，……，出现5次正面的次数有252次，等等。其计算也有一个通式：
$$C_n^x=\frac{n\times (n-1)\times \cdots \times (n-x+1)}{x\times (x-1)\times \cdots \times 1}$$
也可以写成：
$$C_n^x=\frac{n!}{(n-x)!x!}$$

多项分布，是二项分布拓展到多维的情况

多项分布是指单次实验中的随即变量的取值不再是0-1的，而是有多种离散值可能(1,2,3,…,k).比如投掷6个面的骰子实验，N次实验结果服从K=6的多项分布。其中，
$$\sum _{i=1}^k{p}_i=1,p_i>0$$

多项分布的概率密度函数为:
$$P\left(x_1,x_2,\dots ,x_k;n,p_1,p_2,\dots ,p_k\right)=\frac{n!}{x_1!\cdots x_k!}{p}_1^{x_1}\cdots p_k^{x_k}$$

Beta分布，二项分布的共轭先验分布

有一枚硬币，假设抛了三次，三次都是花，那么就能够说明它两面都是花吗？

1. 贝叶斯推断
按照传统的算法，抛了三次得到三次花，那么花的概率应该是：
$$p=\frac{3}{3}=100\%$$
但是抛三次实在是太少了，完全有可能是运气问题，我们应该怎么办呢？

贝叶斯认为在实验之前，应根据不同的情况对硬币有所假设。不同的假设会得到不同的推断。

比如和滑不留手的韦小宝玩。韦小宝可能拿出各种做过手脚的硬币，让我们猜不透，只能假设对硬币一无所知。这种假设之下，我们就只能根据实验结果来猜测。

因此，实验结果是扔三次，三次花，倾向于认为韦小宝有可能作弊：

大侠陈静楠用的可能是公平硬币：

而坏坏的多隆，真的有可能用两面花来和你玩：

各种假设称为先验分布，结合刚才扔三次，三次花的实验数据，推断出硬币的后验分布，这就是贝叶斯推断：

2. Beta分布

那么问题来了，先验分布，后验分布用数学怎么表示：

对于扔硬币，Beta分布非常适合用来完成这个任务。

2.1 先验分布

Beta分布简记为：
$$\mathrm{Beta}(a,b)$$

根据$a,b$参数的不同，形态各异：

这个特性非常适合用来做先验分布。比如，在韦小宝面前，我们对硬币一无所知。

贝叶斯说，一无所知也就是意味着任何 概率都是一样的，都是有可能的，所以选用均匀分布

Beta(1,1)真好就是均匀分布：

正直的陈静楠，可能用的是公平硬币，也就是说概率在0,1之间(0表示字，1表示花)，Beta(5,5)可以表示这样的分布：

而坏坏的多隆，可能用了两面花，也就是说概率可能集中到1附近，Beta(5,1)可以表示这样的分布：

也就是说可以用Beta分布来模拟各种先验分布：

• 一无所知：Beta(1,1)
• 公平硬币：Beta(5,5)
• 两面花：Beta(5,1)

2.2 后验分布

用Beta分布来模拟扔硬币的先验分布之后，通过贝叶斯推断，得到的后验分布依然是Beta分布：

具体到这里：

再具体到韦小宝的情况就是：

其中，用(3,0)来表示实验数据，意思是3次花，0次字。

图像上的变化就是：

可以看到，作弊的可能性还是非常大的。

陈静楠的情况：

结合试验数据之后，图像的中心从0.5往0.6方向移动了，作弊可能性有所增加，不过总体来看应该是公平硬币的可能性大。

多隆的情况：

更向1集中，作弊的可能性非常高。

3. 代数细节

贝叶斯推断：

应用到二项分布的数学细节如下。假设实验数据X|P服从二项分布：
$$X\mid p\sim \mathrm{bin}(n,p)$$
上面的式子根据贝叶斯定理可以表示为：

其中K为花的次数，分母和实验数据无关，可以视作常数：

因此，写成下面这样更容易看清楚重点(其中$\propto$表示两者之间成比例)：

3.2 Beta分布

Beta长成这个样子：

其中，B为Beta函数

$$\frac{1}{B(\alpha ,\beta )}=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt$$

注：$\Gamma (x)$便是所谓的gamma函数，下文会具体阐述。

随着a,b的变换，Beta分布形态各异：

3.3 共轭先验

对于二项式分布，用$Beta$分布作为先验分布，通过贝叶斯推断之后，后验分布依然是Beta分布：

这种特性称为共轭先验。

并且：

Dirichlet分布，是beta分布在高维度上的推广

Dirichlet分布的密度函数形式和Beta分布的密度函数如出一辙：
$$f\left(x_1,x_2,\dots ,x_k;{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k\right)=\frac{1}{B(\alpha )}\prod _{i=1}^k{x}_i^{{\alpha }^i-1}$$

其中
$$B(\alpha )=\frac{{\prod }_{i=1}^k\Gamma \left({\alpha }^i\right)}{\Gamma \left({\sum }_{i=1}^k{\alpha }^i\right)},\sum x_i=1$$

至此，我么可以看到二项分布和多项分布很相似**，Beta分布和Dirichlet分布**很相似，而至于Beta分布是二项分布的共轭先验概率分布，而狄利克雷分布(Dirichlet分布)是多项式分布的共轭先验概率分布这点在下文中说明。

ok，接下来，咱们就按照本文开头所说的思路。

• 一个函数：gamma函数
• 四个分布：二项分布、多项分布、beta分布、Dirichlet分布
• 一个概念和理念：共轭先验和贝叶斯框架
• 两个模型：pLSA、LDA(文档-主题，主题-词语)
• 一个采样：Gibbs采样

gamma函数

咱们先来考虑一个问题

1. 问题：随机变量$X_1,X_2,\cdots ,X_n^{}\sim$Uniform(0,1),服从均匀分布
   $$\begin{array}{c}f(x)=\frac{1}{b-a},a<x<b\\ f(x)=0,\text{ else }\end{array}$$

2.把这n个随机变量排序后得到顺序统计量$X_{(1)},X_{(2)}\cdots ,X_{(n)}$

3.请问$X_{(k)}$的分布是什么

为解决这个问题，可以尝试计算$X_{(k)}$落在区间$[x,x+\Delta x]$的概率。即求下面式子的值：
$$P\left(x\le X_{(k)}\le x+\Delta x\right)=?$$
首先，把 [0,1] 区间分成三段 [0,x)，[x,x+Δx]，(x+Δx,1]，然后考虑下简单的情形：即假设$n$ 个数中只有1个落在了区间 [x,x+Δx]内，由于这个区间内的数$X_k$是第k大的，所以[0,x)中应该有 k−1 个数，(x+Δx,1] 这个区间中应该有n−k 个数。如下图所示：

从而问题转换为下面事件E：
$$\begin{array}{l}E=\{X_1\in [x,x+\Delta x]\\ X_i\in [0,x)(i=2,\cdots ,k)\\ X_j\in (x+\Delta x,1](j=k+1,\cdots ,n)\}\end{array}$$
对于上述事件E，有：
$$\begin{array}{rl}P(E)& =\prod _{i=1}^{n}P\left(X_i\right)\\ & =x^{k-1}(1-x-\Delta x{)}^{n-k}\Delta x\\ & =x^{k-1}(1-x{)}^{n-k}\Delta x+o(\Delta x)\end{array}$$

其中，$o(\Delta x)$表示$\Delta x$的高阶无穷小。显然，由于不同的排列组合，即n个数中有一个落在[x,x+Δx]区间的有n种取法。余下n-1个落在[0,x)的有$\left(\begin{array}{l}n-1\\ k-1\end{array}\right)$种组合，所以和事件E等价的事件一共有$n\left(\begin{array}{l}n-1\\ k-1\end{array}\right)$个。

如果有2个数落在区间[x,x+Δx]呢？如下图所示：

类似于事件E，对于2个数落在区间[x,x+Δx]的事件$E^{\prime }$:
$$\begin{array}{c}{E}^{\prime }=\{X_1,X_2\in [x,x+\Delta x]\\ ,X_i\in [0,x)(i=3,\cdots ,k),\\ X_j\in (x+\Delta x,1](j=k+1,\cdots ,n)\}\end{array}$$

有：
$$P\left(E^{\prime }\right)=x^{k-2}(1-x-\Delta x{)}^{n-k}(\Delta x{)}^2=o(\Delta x)$$

从上述的事件$E$、事件$E^{\prime }$中，可以看出，只要落在[x,x+Δx]内的数字超过一个，则对应的事件的概率就是$o(\Delta x)$。于是乎有：
$$\begin{array}{l}P\left(x\le X_{(k)}\le x+\Delta x\right)\\ =n\left(\begin{array}{l}n-1\\ k-1\end{array}\right)P(E)+o(\Delta x)\\ =n\left(\begin{array}{l}n-1\\ k-1\end{array}\right)x^{k-1}(1-x{)}^{n-k}\Delta x+o(\Delta x)\end{array}$$
从而得到$X_k$的概率密度函数$f_x$为：
$$\begin{array}{rl}f(x)& =\underset{\Delta x\to 0}{\lim }\frac{P\left(x\le X_{(k)}\le x+\Delta x\right)}{\Delta x}\\ & =n\left(\begin{array}{c}n-1\\ k-1\end{array}\right)x^{k-1}(1-x{)}^{n-k}\\ & =\frac{n!}{(k-1)!(n-k)!}{x}^{k-1}(1-x{)}^{n-k}x\in [0,1]\end{array}$$

至此，本文开头提出的问题得到解决。然而仔细观察$X_k$的概率密度函数，发现式子的最终结果有阶乘，联想到阶乘在实数上的推广$\Gamma (x)$函数：
$$\Gamma (x)={\int }_0^{\infty }{t}^{x-1}{e}^{-t}dt$$
通过分布积分的方法，可以推导出这个函数有如下的递归性质：
$$\Gamma (x+1)=x\Gamma (x)$$

两种结合是否会产生奇妙的效果呢？于是很容易证明，$\Gamma (x)$函数可以当成是阶乘在实数集上的延伸，具有如下性质：
$$\Gamma (n)=(n-1)!$$

故将代入到$X_k$的概率密度函数$f_x$中，可得：
$$f(x)=\frac{\Gamma (n+1)}{\Gamma (k)\Gamma (n-k+1)}{x}^{k-1}(1-x{)}^{n-k}$$
然后取$\alpha =k,\beta =n-k+1$，转换$f_x$得到：
$$f(x)=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$

如果熟悉beta分布的朋友，可能会惊呼：哇，竟然推出了beta分布。

beta分布

beta分布

在概率论中，beta是指一组定义在(0,1)区间的连续概率分布，有两个参数$\alpha$,$\beta$，且$\alpha$,$\beta$>0.

beta分布的概率密度函数是：
$$\begin{array}{rl}f(x;\alpha ,\beta )& =\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{{\int }_0^1{u}^{\alpha -1}(1-u{)}^{\beta -1}du}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\\ & =\frac{1}{\mathrm{B}(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\end{array}$$

其中的$\Gamma$便是$\Gamma (x)$函数：
$$\Gamma (x)={\int }_0^{\infty }{t}^{x-1}{e}^{-t}dt$$

随机变量x服从参数为beta分布。通常写为：$X\sim \mathrm{Be}(\alpha ,\beta )$

Beta-Binomial共轭

回顾下上开头所提出的问题：问题1 随机变量$X_1,X_2,\cdots ,X_n^{}\sim$uniform(0,1)$，把这n个随机变量排序后得到顺序统计量$$X_{(1)},X_{(2)}\cdots X_{(n)}$，然后请问$$X_k$ 的分布是什么。

如果，咱们要在这个问题的基础上增加一些观测数据，变成问题2：

• $X_1,X_2,\cdots ,X_n^{}\sim$uniform(0,1)$,对应的顺序统计量是$$X_{(1)},X_{(2)}\cdots X_{(n)}$，需要猜测$p=X_{(k)}$；
• $Y_1,Y_2,\cdots ,Y_n^{}\sim$uniform(0,1)$,Y_i$中有$m_1$个比p小，$m_2$个比p大；
• 那么，请问$P\left(p\mid Y_1,Y_2,\cdots ,Y_m\right)$的分布是什么。

根据,$Y_i$中有$m_1$个比p小，$m_2$个比p大，换言之，$Y_i$中有$m_1$个比$X_k$小，$m_2$个比$X_k$大，所以$X_k$是$X_1,X_2,\cdots ,X_n,Y_1,Y_2,\cdots ,Y_m^{\text{iid }}～Uniform(0,1)$中第$K+m_1$大的数。

根据上节最终得到的结论“只要落在[x,x+Δx]内的数字超过一个，则对应的事件的概率就是 o(Δx)”，继而推出事件服从beta分布，从而可知$p=X_{(k)}$的概率密度函数为：
$$\mathrm{Beta}\left(p\mid k+m_1,n-k+1+m_2\right)$$

1.为了猜测$p=X_{(k)}$，在获得一定的观测数据前，我们对$P$的认知是：$f(p)=\mathrm{Beta}(p\mid \mathbf{k},\mathbf{n}-\mathbf{k}+1)$，此称为$p$的先验分布；
2.然后为了获得这个结果,$Y_i$中有$m_1$个比p小，$m_2$个比p大，针对$Y_i$是做了$m$次贝努利实验，所以$m_1$服从二项分布$B(m,p)$；
3.在给定了来自数据提供的$\left(m_1,m_2\right)$的知识后，$P$的后验分布变为。
$f\left(p\mid m_1,m_2\right)=\mathrm{Beta}\left(p\mid k+m_1,n-k+1+m_2\right)$

回顾下贝叶斯派思考问题的固定模式：

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对$\theta$的认知是先验分布$\pi (\theta )$，在得到新的样本信息$X$后，人们对$\theta$的认知为$\pi (\theta \mid x)$。

类比到现在这个问题上，我们也可以试着写下：
$$\mathrm{Beta}(p\mid k,n-k+1)+\mathrm{Count}\left(m_1,m_2\right)=\mathrm{Beta}\left(p\mid k+m_1,n-k+1+m_2\right)$$

其中$\left(m_1,m_2\right)$对应的是二项分布$B\left(m_1+m_2,p\right)$的计数。

更一般的，对于非负实数$\alpha$和$\beta$，我们有如下关系
$$\mathrm{Beta}(p\mid \alpha ,\beta )+\mathrm{Count}\left(m_1,m_2\right)=\mathrm{Beta}\left(p\mid \alpha +m_1,\beta +m_2\right)$$

针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial共轭。

换言之，Beta分布是二项式分布的共轭先验概率分布。

二项分布和Beta分布是共轭分布意味着，如果我们为二项分布的参数$p$选取的先验分布是Beta分布，那么以p为参数的二项分布用贝叶斯估计得到的后验分布仍然服从Beta分布。

此外，如何理解参数$\alpha$和$\beta$所表达的意义呢？$\alpha$、$\beta$可以认为形状参数，通俗但不严格的理解是，$\alpha$和$\beta$共同控制Beta分布的函数“长的样子”：形状千奇百怪，高低胖瘦，如下图所示：

共轭先验分布

什么又是共轭呢？轭的意思是束缚、控制，共轭从字面上理解，则是共同约束，或互相约束。

在贝叶斯概率理论中，如果后验概率$P(\theta |x)$和先验概率$p(\theta )$满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

比如，某观测数据服从概率分布$P(\theta )$时，当观测到新的$X$数据时，我们一般会遇到如下问题：

• 可否根据新观测数据$X$，更新参数$\theta$？

• 根据新观测数据可以在多大程度上改变参数$\theta$，即
  $$\theta \leftarrow \theta +\Delta \theta$$

• 当重新估计$\theta$的时候，给出新参数值$\theta$的新概率分布，即$P(\theta |x)$。

事实上，根据根据贝叶斯公式可知：
$$P(\theta \mid x)=\frac{P(x\mid \theta )\cdot P(\theta )}{P(x)}\propto P(x\mid \theta )\cdot P(\theta )$$

其中，$P(x|\theta )$表示以预估$\theta$为参数的$x$概率分布，可以直接求得，$P(\theta )$是已有原始的$\theta$概率分布。

所以，如果我们选取$P(x|\theta )$的共轭先验作为$P(\theta )$的分布，那么$P(x|\theta )$乘以$P(\theta )$，然后归一化的结果$P(\theta |x)$跟和$P(\theta )$的形式一样。

换句话说，先验分布是$P(\theta )$，后验分布是$P(\theta |x)$，先验分布跟后验分布同属于一个分布族，故称该分布族是θ的共轭先验分布（族）。

举个例子。投掷一个非均匀硬币，可以使用参数为$\theta$的伯努利模型，$\theta$为硬币为正面的概率，那么结果$x$的分布形式为：
$$P(x\mid \theta )={\theta }^x\cdot (1-\theta {)}^{1-x}$$

其共轭先验为beta分布，具有两个参数$\alpha$和$\beta$，称为超参数（hyperparameters）。且这两个参数决定了$\theta$参数，其Beta分布形式为
$$P(\theta \mid \alpha ,\beta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}}{{\int }_0^1{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}d\theta }$$

然后计算后验概率
$$\begin{array}{l}P(\theta \mid x)\\ \propto P(x\mid \theta )\cdot P(\theta )\\ \propto \left({\theta }^x(1-\theta {)}^x\right)\left({\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}\right)\\ ={\theta }^{x+a-1}(1-\theta {)}^{1-x+\beta -1}\end{array}$$
归一化这个等式后会得到另一个Beta分布，从而证明了Beta分布确实是伯努利分布的共轭先验分布。

从beta分布推广到Dirichlet 分布

接下来，咱们来考察beta分布的一个性质。

如果$p\sim \mathrm{Beta}(t\mid \alpha ,\beta )$，则有：
$$\begin{array}{rl}E(p)& ={\int }_0^{1}t\ast \mathrm{Beta}(t\mid \alpha ,\beta )dt\\ & ={\int }_0^{1}t\ast \frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{t}^{\alpha -1}(1-t{)}^{\beta -1}dt\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\int }_0^1{t}^{\alpha }(1-t{)}^{\beta -1}dt\end{array}$$

注意到上式最后结果的右边积分
$${\int }_0^1{t}^{\alpha }(1-t{)}^{\beta -1}dt$$

其类似于概率分布$\mathrm{Beta}(t\mid \alpha +1,\beta )$，而对于这个分布有
$${\int }_0^1\frac{\Gamma (\alpha +\beta +1)}{\Gamma (\alpha +1)\Gamma (\beta )}{t}^{\alpha }(1-t{)}^{\beta -1}dt=1$$

从而求得
$${\int }_0^1{t}^{\alpha }(1-t{)}^{\beta -1}dt$$

的结果为
$$\frac{\Gamma (\alpha +1)\Gamma (\beta )}{\Gamma (\alpha +\beta +1)}$$

最后将此结果带入$E(p)$的计算式，得到：
$$\begin{array}{rl}E(p)& =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\cdot \frac{\Gamma (\alpha +1)\Gamma (\beta )}{\Gamma (\alpha +\beta +1)}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha +\beta +1)}\frac{\Gamma (\alpha +1)}{\Gamma (\alpha )}\\ & =\frac{\alpha }{\alpha +\beta }\end{array}$$

最后的这个结果意味着对于Beta 分布的随机变量，其均值（期望）可以用$\frac{\alpha }{\alpha +\beta }$来估计。

此外，狄利克雷Dirichlet 分布也有类似的结论，即如果$p\sim \mathrm{Dir}(t\mid \alpha )$，同样可以证明有下述结论成立：
$$E(p)=\left(\frac{{\alpha }_1}{{\sum }_{i=1}^K{\alpha }_i},\frac{{\alpha }_2}{{\sum }_{i=1}^K{\alpha }_i},\cdots ,\frac{{\alpha }_K}{{\sum }_{i=1}^K{\alpha }_i}\right)$$

那什么是Dirichlet 分布呢？简单的理解Dirichlet 分布就是一组连续多变量概率分布，是多变量普遍化的beta分布。为了纪念德国数学家约翰·彼得·古斯塔夫·勒热纳·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作为贝叶斯统计的先验概率。

Dirichlet 分布

Dirichlet 分布

根据维基百科上的介绍，维度K ≥ 2（x1,x2…$x_{k-1}$维，共K个）的狄利克雷分布在参数α1, …, αK > 0上、基于欧几里得空间$R_{k-1}$里的勒贝格测度有个概率密度函数，定义为：
$$f\left(x_1,\dots ,x_{K-1};{\alpha }_1,\dots ,{\alpha }_K\right)=\frac{1}{\mathrm{B}(\alpha )}\prod _{i=1}^K{x}_i^{{\alpha }_i-1}$$

其中，B($\alpha$)相当于是多项beta函数
$$\mathrm{B}(\alpha )=\frac{{\prod }_{i=1}^K\Gamma \left({\alpha }_i\right)}{\Gamma \left({\sum }_{i=1}^K{\alpha }_i\right)}$$

且$\alpha =\left({\alpha }_1,\dots ,{\alpha }_K\right)$

此外，$x_1$+$x_2$+…+$x_{k-1}$+$x_k$=1，$x_1$,$x_2$,$x_{k-1}$>0，且在(K-1)维的单纯形上，其他区域的概率密度为0。

当然，也可以如下定义Dirichlet 分布

其中的$\Delta (\alpha )$称为Dirichlet 分布的归一化系数：
$$\Delta (\alpha )=\frac{{\prod }_{k-1}^{\dim \alpha }\Gamma \left({\alpha }_k\right)}{\Gamma \left({\sum }_{k-1}^{\dim \alpha }{\alpha }_k\right)}=int\prod _{k=1}^V{p}_k^{\alpha k-1}\mathrm{d}p$$

且根据Dirichlet分布的积分为1（概率的基本性质），可以得到：
$${\int }_p\prod _{k=1}^K{p}_k^{{\alpha }_k-1}dp=\Delta (\alpha )$$

Dirichlet-Multinomial 共轭

下面，在之前的基础上继续深入，引出问题3。

• $X_1,X_2,\cdots ,X_n^{\text{iid }}～$ Uniform(0,1)
• 排序后对应的顺序统计量$X_{(1)},X_{(2)},\cdots ,X_{(n)}$,
• 问$\left(X_{\left(k_1\right)},X_{\left(k_1+k_2\right)}\right)$的联合分布是什么？

为了简化计算，取$x_3$满足$x_1$+$x_2$+$x_3$=1,但只有$x_1$,$x_2$是变量，如下图所示：

从而有：

$$\begin{array}{l}P\left(X_{\left(k_1\right)}\in \left(x_1,x_1+\Delta x\right),X_{\left(k_1+k_2\right)}\in \left(x_2,x_2+\Delta x\right)\right)\\ =n(n-1)\left(\begin{array}{c}n-2\\ k_1-1,k_2-1\end{array}\right)x_1^{k_1-1}{x}_2^{k_2-1}{x}_3^{n-k_1-k_2}(\Delta x{)}^2\\ =\frac{n!}{\left(k_1-1\right)!\left(k_2-1\right)!\left(n-k_1-k_2\right)!}{x}_1^{k_1-1}{x}_2^{k_2-1}{x}_3^{n-k_1-k_2}(\Delta x{)}^2\end{array}$$

于是我们得到$\left(X_{\left(k_1\right)},X_{\left(k_1+k_2\right)}\right)$的联合分布为：
$\begin{array}{rl}f\left(x_1,x_2,x_3\right)& =\frac{n!}{\left(k_1-1\right)!\left(k_2-1\right)!\left(n-k_1-k_2\right)!}{x}_1^{k_1-1}{x}_2^{k_2-1}{x}_3^{n-k_1-k_2}\\ & =\frac{\Gamma (n+1)}{\Gamma \left(k_1\right)\Gamma \left(k_2\right)\Gamma \left(n-k_1-k_2+1\right)}{x}_1^{k_1-1}{x}_2^{k_2-1}{x}_3^{n-k_1-k_2}\end{array}$

观察上述式子的最终结果，可以看出上面这个分布其实就是3维形式的 Dirichlet 分布
$$\mathrm{Dir}\left(x_1,x_2,x_3\mid k_1,k_2,n-k_1-k_2+1\right)$$

令${\alpha }_1=k_1,{\alpha }_2=k_2,{\alpha }_3=n-k_1-k_2+1$，于是分布密度可以写为
$$f\left(x_1,x_2,x_3\right)=\frac{\Gamma \left({\alpha }_1+{\alpha }_2+{\alpha }_3\right)}{\Gamma \left({\alpha }_1\right)\Gamma \left({\alpha }_2\right)\Gamma \left({\alpha }_3\right)}{x}_1^{{\alpha }_1-1}{x}_2^{{\alpha }_2-1}{x}_3^{{\alpha }_3-1}$$

这个就是一般形式的3维 Dirichlet 分布，即便$\alpha =\left({\alpha }_1,{\alpha }_2,{\alpha }_3\right)$延拓到非负实数集合，以上概率分布也是良定义的。

将Dirichlet分布的概率密度函数取对数，绘制对称Dirichlet分布的图像如下图所示

上图中，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且α1=α2=α3=α，图中反映的是参数α从α=(0.3, 0.3, 0.3)变化到(2.0, 2.0, 2.0)时的概率对数值的变化情况。

主题模型LDA

在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获：

通过上文，我们知道beta分布是二项式分布的共轭先验概率分布：

对于非负实数$\alpha$和$\beta$，我们有如下关系
$$\mathrm{Beta}(p\mid \alpha ,\beta )+\mathrm{Count}\left(m_1,m_2\right)=\mathrm{Beta}\left(p\mid \alpha +m_1,\beta +m_2\right)$$

其中$\left(m_1,m_2\right)$对应的是二项分布$B\left(m_1+m_2,p\right)$的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭。

我们还知道狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验概率分布：

把$\alpha$从整数集合延拓到实数集合，从而得到更一般的表达式如下：
$$\mathrm{Dir}(p\mid \alpha )+\mathrm{MultCount}(m)=\mathrm{Dir}(p\mid \alpha +m)$$

针对于这种观测到的数据符合多项分布，参数的先验分布和后验分布都是Dirichlet 分布的情况，就是 Dirichlet-Multinomial 共轭。

以及贝叶斯派思考问题的固定模式：

先验分布 $\pi (\theta )+$ 样本信息 $\chi \Rightarrow$ 后验分布 $\pi (\theta \mid x)$

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。

换言之，在得到新的样本信息之前，人们对的认知是先验分布，在得到新的样本信息后，人们对$\theta$的认知是先验分布$\pi (\theta )$，在得到新的样本信息$X$后，人们对$\theta$的认知为$\pi (\theta \mid x)$。

顺便提下频率派与贝叶斯派各自不同的思考方式：

• 频率派把需要推断的参数$\theta$看做是固定的未知常数，即概率$\theta$虽然是未知的，但最起码是确定的一个值，同时，样本$X$是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本$X$的分布；
• 而贝叶斯派的观点则截然相反，他们认为待估计的参数$theta$是随机变量，服从一定的分布，而样本$X$是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。

OK，在杀到终极boss——LDA模型之前，再循序渐进理解基础模型：Unigram model、mixture of unigrams model，以及跟LDA最为接近的pLSA模型。

为了方便描述，首先定义一些变量：

• $w$表示词，$V$表示所有单词的个数（固定值）
• $z$表示主题，$k$是主题的个数（预先给定，固定值）
• $D=\left({\mathbf{w}}_1,\cdots ,{\mathbf{w}}_M\right)$表示语料库，其中的$M$是语料库中的文档数（固定值）
• $\mathbf{w}=\left(w_1,w_2,\cdots ,w_N\right)$表示文档，其中的$N$表示一个文档中的词数（随机变量）

各个基础模型

Unigram model

对于文档$\mathbf{w}=\left(w_1,w_2,\cdots ,w_N\right)$，用$p(w_n)$表示词的先验概率，生成文档$w$的概率为：
$$p(\mathbf{w})=\prod _{n=1}^{N}p\left(w_n\right)$$

其图模型为（图中被涂色的w表示可观测变量，N表示一篇文档中总共N个单词，M表示M篇文档）：

或为：

unigram model假设文本中的词服从Multinomial分布，而我们已经知道Multinomial分布的先验分布为Dirichlet分布。

上图中的$w_n$表示在文本中观察到的第n个词，n∈[1,N]表示该文本中一共有N个单词。加上方框表示重复，即一共有N个这样的随机变量$w_n$。其中，$p$和$\alpha$是隐含未知变量：

• p是词服从的Multinomial分布的参数
• α是Dirichlet分布（即Multinomial分布的先验分布）的参数。

一般$\alpha$由经验事先给定，$p$由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。

Mixture of unigrams model

该模型的生成过程是：给某个文档先选择一个主题$z$，再根据该主题生成文档，该文档中的所有词都来自一个主题。假设主题有$z_1,\dots ,z_k$，生成文档$w$的概率为：
$$p(\mathbf{w})=p\left(z_1\right)\prod _{n=1}^{N}p\left(w_n\mid z_1\right)+\cdots +p\left(z_k\right)\prod _{n=1}^{N}p\left(w_n\mid z_k\right)=\sum _{z}p(z)\prod _{n=1}^{N}p\left(w_n\mid z\right)$$

其图模型为（图中被涂色的w表示可观测变量，未被涂色的z表示未知的隐变量，N表示一篇文档中总共N个单词，M表示M篇文档）：

PLSA模型

啊哈，长征两万五，经过前面这么长的铺垫，终于快要接近LDA模型了！因为跟LDA模型最为接近的便是下面要阐述的这个pLSA模型，理解了pLSA模型后，到LDA模型也就一步之遥——给pLSA加上贝叶斯框架，便是LDA。

pLSA模型下生成文档

OK，在上面的Mixture of unigrams model中，我们假定一篇文档只有一个主题生成，可实际中，一篇文章往往有多个主题，只是这多个主题各自在文档中出现的概率大小不一样。

比如介绍一个国家的文档中，往往会分别从教育、经济、交通等多个主题进行介绍。那么在pLSA中，文档是怎样被生成的呢？

假设你要写$M$篇文档，由于一篇文档由各个不同的词组成，所以你需要确定每篇文档里每个位置上的词。

再假定你一共有$K$个可选的主题，有$V$个可选的词，咱们来玩一个扔骰子的游戏。

假设你每写一篇文档会制作一颗$K$面的“文档-主题”骰子（扔此骰子能得到K个主题中的任意一个），和$K$个$V$面的“主题-词项” 骰子（每个骰子对应一个主题，$K$个骰子对应之前的$K$个主题，且骰子的每一面对应要选择的词项，$V$个面对应着$V$个可选的词）。

• 比如可令$K$=3，即制作1个含有3个主题的“文档-主题”骰子，这3个主题可以是：教育、经济、交通。然后令$V$ = 3，制作3个有着3面的“主题-词项”骰子，其中，教育主题骰子的3个面上的词可以是：大学、老师、课程，经济主题骰子的3个面上的词可以是：市场、企业、金融，交通主题骰子的3个面上的词可以是：高铁、汽车、飞机。
  

每写一个词，先扔该“文档-主题”骰子选择主题，得到主题的结果后，使用和主题结果对应的那颗“主题-词项”骰子，扔该骰子选择要写的词。

先扔“文档-主题”的骰子，假设（以一定的概率）得到的主题是教育，所以下一步便是扔教育主题筛子，（以一定的概率）得到教育主题筛子对应的某个词：大学。

上面这个投骰子产生词的过程简化下便是：“先以一定的概率选取主题，再以一定的概率选取词”。事实上，一开始可供选择的主题有3个：教育、经济、交通，那为何偏偏选取教育这个主题呢？其实是随机选取的，只是这个随机遵循一定的概率分布。比如可能选取教育主题的概率是0.5，选取经济主题的概率是0.3，选取交通主题的概率是0.2，那么这3个主题的概率分布便是{教育：0.5，经济：0.3，交通：0.2}，我们把各个主题$z$在文档$d$中出现的概率分布称之为主题分布，且是一个多项分布。

同样的，从主题分布中随机抽取出教育主题后，依然面对着3个词：大学、老师、课程，这3个词都可能被选中，但它们被选中的概率也是不一样的。比如大学这个词被选中的概率是0.5，老师这个词被选中的概率是0.3，课程被选中的概率是0.2，那么这3个词的概率分布便是{大学：0.5，老师：0.3，课程：0.2}，我们把各个词语$w$在主题$z$下出现的概率分布称之为词分布，这个词分布也是一个多项分布。

所以，选主题和选词都是两个随机的过程，先从主题分布{教育：0.5，经济：0.3，交通：0.2}中抽取出主题：教育，然后从该教育主题对应的词分布{大学：0.5，老师：0.3，课程：0.2}中抽取出词：大学。

最后，你不停的重复扔“文档-主题”骰子和”主题-词项“骰子，重复$N$次（产生N个词），完成一篇文档，重复这产生一篇文档的方法$M$次，则完成$M$篇文档。

上述过程抽象出来即是PLSA的文档生成模型。在这个过程中，我们并未关注词和词之间的出现顺序，所以pLSA是一种词袋方法。具体说来，该模型假设一组共现(co-occurrence)词项关联着一个隐含的主题类别$z_k\in \left\{z_1,\dots ,z_K\right\}$。同时定义：

• $P\left(d_i\right)$表示海量文档中某篇文档被选中的概率。
• $P\left(w_j\mid d_i\right)$表示词$w_j$在给定文档$d_i$中出现的概率。怎么计算得到呢？针对海量文档，对所有文档进行分词后，得到一个词汇列表，这样每篇文档就是一个词语的集合。对于每个词语，用它在文档中出现的次数除以文档中词语总的数目便是它在文档中出现的概率$P\left(w_j\mid d_i\right)$。
• $P\left(z_k\mid d_i\right)$表示具体某个主题$z_k$在给定文档$d_i$下出现的概率。
• $P\left(w_j\mid z_k\right)$表示具体某个词$w_j$在给定主题$z_k$下出现的概率，与主题关系越密切的词，其条件概率$P\left(w_j\mid z_k\right)$越大。

利用上述的第1、3、4个概率，我们便可以按照如下的步骤得到“文档-词项”的生成模型：

• 1.按照概率$p(d_i)$选择一篇文档$d_i$
• 2.选定文档$d_i$后，从主题分布中按照概率$P\left(z_k\mid d_i\right)$选择一个隐含的主题类别$z_k$
• 3.选定$z_k$后，从词分布中按照概率$P\left(w_j\mid z_k\right)$选择一个词$w_j$

所以pLSA中生成文档的整个过程便是选定文档生成主题，确定主题生成词。

根据文档反推其主题分布

反过来，既然文档已经产生，那么如何根据已经产生好的文档反推其主题呢？这个利用看到的文档推断其隐藏的主题（分布）的过程（其实也就是产生文档的逆过程），便是主题建模的目的：自动地发现文档集中的主题（分布）。

换言之，人类根据文档生成模型写成了各类文章，然后丢给了计算机，相当于计算机看到的是一篇篇已经写好的文章。现在计算机需要根据一篇篇文章中看到的一系列词归纳出当篇文章的主题，进而得出各个主题各自不同的出现概率：主题分布。即文档$d$和单词$w$是可被观察到的，但主题$z$却是隐藏的。

如下图所示（图中被涂色的$d$、$w$表示可观测变量，未被涂色的$z$表示未知的隐变量，$N$表示一篇文档中总共$N$个单词，$M$表示M篇文档）：

上图中，文档$d$和词$w$是我们得到的样本（样本随机，参数虽未知但固定，所以pLSA属于频率派思想。区别于下文要介绍的LDA中：样本固定，参数未知但不固定，是个随机变量，服从一定的分布，所以LDA属于贝叶斯派思想），可观测得到，所以对于任意一篇文档，其是已知的。

从而可以根据大量已知的文档-词项信息$P\left(w_j\mid d_i\right)$，训练出文档-主题$P\left(z_k\mid d_i\right)$和主题-词项$P\left(w_j\mid z_k\right)$，如下公式所示：
$$P\left(w_j\mid d_i\right)=\sum _{k=1}^{K}P\left(w_j\mid z_k\right)P\left(z_k\mid d_i\right)$$

故得到文档中每个词的生成概率为：
$$\begin{array}{rl}P\left(d_i,w_j\right)& =P\left(d_i\right)P\left(w_j\mid d_i\right)\\ & =P\left(d_i\right)\sum _{k=1}^{K}P\left(w_j\mid z_k\right)P\left(z_k\mid d_i\right)\end{array}$$

由于$p(d_i)$可事先计算求出，而$P\left(w_j\mid z_k\right)$和$P\left(z_k\mid d_i\right)$未知，所以$\theta =\left(P\left(w_j\mid z_k\right),P\left(z_k\mid d_i\right)\right)$就是我们要估计的参数（值），通俗点说，就是要最大化这个$\theta$。

用什么方法进行估计呢，常用的参数估计方法有极大似然估计$MLE$、最大后验证估计$MAP$、贝叶斯估计等等。因为该待估计的参数中含有隐变量$z$，所以我们可以考虑EM算法。

EM算法的简单介绍

EM算法，全称为Expectation-maximization algorithm，为期望最大算法，其基本思想是：首先随机选取一个值去初始化待估计的值${\theta }^{(0)}$，然后不断迭代寻找更优的${\theta }^{(n+1)}$使得其似然函数likelihood $L\left({\theta }^{(n+1)}\right)$比原来的$L\left({\theta }^{(n)}\right)$要大。换言之，假定现在得到了${\theta }^{(n)}$，想求${\theta }^{(n+1)}$，使得
$${\theta }^{(n+1)}=\underset{\theta }{\max }L(\theta )-L\left({\theta }^{\prime n}\right))$$

EM的关键便是要找到$L(\theta )$的一个下界$Q\left(\theta ;{\theta }^n\right)$（注：$L(\theta )=\log p(X\mid \theta )$，其中，$X$表示已经观察到的随机变量），然后不断最大化这个下界，通过不断求解下界$Q\left(\theta ;{\theta }^n\right)$的极大化，从而逼近要求解的似然函数$L(\theta )$。

所以EM算法的一般步骤为：

• 1.随机选取或者根据先验知识初始化${\theta }^{(0)}$；
• 2.不断迭代下述两步
  • ①给出当前的参数估计${\theta }^{(n)}$，计算似然函数$L(\theta )$的下界$Q\left(\theta ;{\theta }^n\right)$
  • ②重新估计参数$\theta$，即求${\theta }^{(n+1)}$，使得${\theta }^{(n+1)}={\arg }_{\theta }\max Q\left(\theta ;{\theta }^n\right)$
• 3.上述第二步后，如果$L(\theta )$收敛（即$Q\left(\theta ;{\theta }^n\right)$收敛）则退出算法，否则继续回到第二步。

上述过程好比在二维平面上，有两条不相交的曲线，一条曲线在上（简称上曲线$L$），一条曲线在下（简称下曲线$Q$），下曲线为上曲线的下界。现在对上曲线未知，只已知下曲线，为了求解上曲线的最高点，我们试着不断增大下曲线，使得下曲线不断逼近上曲线，下曲线在某一个点达到局部最大值并与上曲线在这点的值相等，记录下这个值，然后继续增大下曲线，寻找下曲线上与上曲线上相等的值，迭代到$L(\theta )$收敛（即$Q\left(\theta ;{\theta }^n\right)$收敛）停止，从而利用当前下曲线上的局部最大值当作上曲线的全局最大值（换言之，EM算法不保证一定能找到全局最优值）。如下图所示：

以下是详细介绍。

假定有训练集$\left\{x^{(1)},\dots ,x^{(m)}\right\}$，包含$m$个独立样本，希望从中找到该组数据的模型$p(x,z)$的参数。

然后通过极大似然估计建立目标函数–对数似然函数：
$$\begin{array}{rl}\ell (\theta )& =\sum _{i=1}^m\log p(x;\theta )\\ & =\sum _{i=1}^m\log \sum _{z}p(x,z;\theta )\end{array}$$

这里，$z$是隐随机变量，直接找到参数的估计是很困难的。我们的策略是建立$\ell (\theta )$的下界，并且求该下界的最大值；重复这个过程，直到收敛到局部最大值。

令$Q_i$是$z$的某一个分布，$Q_i$≥0，且结合Jensen不等式，有：
$$\begin{array}{rl}\sum _i\log p\left(x^{(i)};\theta \right)& =\sum _i\log \sum _{z^{(i)}}p\left(x^{(i)},z^{(i)};\theta \right)\\ & =\sum _i\log \sum _{z^{(i)}}{Q}_i\left(z^{(i)}\right)\frac{p\left(x^{(i)},z^{(i)};\theta \right)}{Q_i\left(z^{(i)}\right)}\\ & \ge \sum _i\sum _{z^{(i)}}{Q}_i\left(z^{(i)}\right)\log \frac{p\left(x^{(i)},z^{(i)};\theta \right)}{Q_i\left(z^{(i)}\right)}\end{array}$$

为了寻找尽量紧的下界，我们可以让使上述等号成立，而若要让等号成立的条件则是：
$$\frac{p\left(x^{(i)},z^{(i)};\theta \right)}{Q_i\left(z^{(i)}\right)}=c$$

换言之，有以下式子成立：$Q_i\left(z^{(i)}\right)\propto p\left(x^{(i)},z^{(i)};\theta \right)$，且由于有：${\sum }_z{Q}_i\left(z^{(i)}\right)=1$

所以可得：
$$\begin{array}{rl}{Q}_i\left(z^{(i)}\right)& =\frac{p\left(x^{(i)},z^{(i)};\theta \right)}{{\sum }_{z}p\left(x^{(i)},z;\theta \right)}\\ & =\frac{p\left(x^{(i)},z^{(i)};\theta \right)}{p\left(x^{(i)};\theta \right)}\\ & =p\left(z^{(i)}\mid x^{(i)};\theta \right)\end{array}$$

最终得到EM算法的整体框架如下：

OK，EM算法还会在本博客后面的博文中具体阐述。接下来，回到pLSA参数的估计问题上。

EM算法估计pLSA的两未知参数

首先尝试从矩阵的角度来描述待估计的两个未知变量$P\left(w_j\mid z_k\right)$和$P\left(z_k\mid d_i\right)$。

假定用${\varphi }_k$表示词表$V$在主题$z_k$上的一个多项分布，则${\varphi }_k$可以表示成一个向量，每个元素${\varphi }_{k,j}$表示词项$w_j$出现在主题$z_k$中的概率，即
$$P\left(w_j\mid z_k\right)={\varphi }_{k,j},\sum _{wj\in \mathcal{V}}{\varphi }_{k,j}=1$$

用${\theta }_i$表示所有主题$z$在文档$d_i$上的一个多项分布，则${\theta }_i$可以表示成一个向量，每个元素${\theta }_{i,k}$表示主题$z_k$出现在文档$d_i$中的概率，即
$$P\left(z_k\mid d_i\right)={\theta }_{i,k},\sum _{z_k\in \mathcal{Z}}{\theta }_{i,k}=1$$

这样，巧妙的把$P\left(w_j\mid z_k\right)$和$P\left(z_k\mid d_i\right)$转换成了两个矩阵。

换言之，最终我们要求解的参数是这两个矩阵：
$$\Phi =\left[{\varphi }_1,\cdots ,{\varphi }_K\right],z_k\in \mathcal{Z}$$
$$\Theta =\left[{\theta }_i,\cdots ,{\theta }_M\right],d_iϵD$$

由于词和词之间是相互独立的，所以整篇文档N个词的分布为：
$$P\left(W\mid d_i\right)=\prod _{j=1}^{N}P{\left(d_i,w_j\right)}^{n(d_i,w}$$