潜在狄利克雷分配（LDA）基础

潜在狄利克雷分配（latnet Dirichlet allocation, LDA）模型是文本集合的生成概率模型。假设每个文本由话题的一个多项分布表示，每个话题由单词的一个多项分布表示，特别假设文本的话题分布的先验分布是狄利克雷分布，话题的单词分布的先验分布也是狄利克雷分布。

狄利克雷分布

1、多项分布

假设重复进行$n$次独立随机试验，每次试验可能出现的结果有$k$种，第$i$种结果出现的概率为$p_i$，第$i$种结果出现的次数为$n_i$，随机变量$X=(X_1,X_2,\dots ,X_k)$ 表示试验所有可能的结果的次数，$X_i$表示第$i$种结果出现的次数。那么随机变量X服从多项分布：
$$P(X_1=n_1,X_2=n_2,\dots ,X_k=n_k)=\frac{n!}{n_1!n_2!\dots n_k!}{p}_1^{n_1}{p}_2^{n_2}\dots p_k^{n_k}$$
记作：$X\sim Mult(n,p)$。

其中：${\sum }_{i=1}^k{p}_i=1,{\sum }_{i=1}^k{n}_i=n$ ，

2、狄利克雷分布

多元连续随机变量$\theta =({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$的概率密度为：
$$P(\theta |\alpha )=\frac{\Gamma (\sum _{i=1}^K{\alpha }_i)}{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}\prod _{i=1}^K{p}_k^{{\alpha }_i-1}$$
其中${\sum }_{i=1}^k{\theta }_i=1,{\theta }_i\ge 0,\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k),{\alpha }_i\ge 0$。则称随机变量$\theta$ 服从参数为$\alpha$的狄利克雷分布，记作$\theta \sim Dir(\alpha )$。

其中：
$$\Gamma (s)={\int }_0^{\infty }{x}^{s-1}{e}^{-x}dxs>0$$
性质：（1）狄利克雷分布属于指数分布族；（2）狄利克雷分布是多项分布的共轭先验。

共轭先验的定义：如果后验$P(y|x)$与先验$P(y)$分布属于同类，则先验分布与后验分布称为共轭分布，先验分布称为共轭先验。

李航统计学习方法（第二版）P389页证明了如下结论：

多项分布的先验分布和后验分布都是狄利克雷分布，所以，狄利克雷分布是多项分布的共轭先验；但二者参数不同，狄利克雷后验分布的参数等于狄利克雷先验分布参数$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k)$ 加上多项分布的观测计数$n=(n_1,n_2,\dots ,n_k)$。

LDA模型

基本想法

LDA文本生成过程如下图所示：

（1）生成每一个话题的单词分布：基于单词分布的先验分布(狄利克雷分布)生成多个单词分布，即决定多个话题内容;

（2）生成每一个文本的话题分布：基于话题分布的先验分布(狄利克雷分布)生成多个话题分布，即决定多个文本内容;

（3）基于每一个话题分布生成话题序列，针对每一个话题，基于话题的单词分布生成单词，整体构成一个单词序列，即生成文本，重复这个过程生成所有文本。

这个过程中，文本的单词序列是观测变量，文本的话题序列,文本的话题分布和话题的单词分布都是隐变量。利用LDA进行话题分析，就是对给定文本集合，学习到每个文本的话题分布，以及每个话题的单词分布。

模型定义

设$V$个单词集合$W=\{w_1,\dots ,w_v,\dots ,w_V\}$，$M$个文本的集合$D=\{{\mathbf{w}}_1,\dots ,{\mathbf{w}}_m,\dots ,{\mathbf{w}}_M\}$，文本${\mathbf{w}}_m$ 的单词（共$N_m$个单词）序列${\mathbf{w}}_m=(w_{m1},\dots ,w_{mn},\dots ,w_{m{N}_m})$ ，$k$个话题的集合$Z=\{z_1,\dots ,z_k,\dots ,z_K\}$。

生成过程如下：

（1）生成话题的单词分布

随机生成K个话题的单词分布：按照狄利克雷分布$Dir(\beta )$ 随机生成一个参数向量${\phi }_k=({\phi }_{k1},{\phi }_{k2},\dots ,{\phi }_{kV}),{\phi }_k\sim Dir(\beta )$，${\phi }_{kV}$表示话题$z_k$ 生成单词$w_v$的概率，${\phi }_k$作为话题$z_k$的单词分布$P(w|z_k)$。

（2）生成文本的话题分布

随机生成$M$个文本的话题分布：按照狄利克雷分布$Dir(\alpha )$ 随机生成一个参数向量${\theta }_m=({\theta }_{m1},{\theta }_{m2},\dots ,{\theta }_{mk}),{\theta }_m\sim Dir(\alpha )$，${\theta }_{mk}$表示文本 ${\mathbf{w}}_m$ 生成话题$z_k$的概率，${\theta }_m$作为文本${\mathbf{w}}_m$的话题分布$P(z|{\mathbf{w}}_m)$。

（3）生成文本的单词序列

随机生成$M$个文本的$N_m$个单词。文本 ${\mathbf{w}}_m,(m=1,2,...,M)$ 的单词$w_{mn}(n=1,2,..,Nm)$的生成过程如下:

(3-1)首先按照多项分布$Mult({\theta }_m)$随机生成-一个话题$z_{mn}$，$z_{mn}\sim Mult({\theta }_m)$。

(3-2)然后按照多项分布$Mult({\phi }_{z_{mn}})$随机生成-一个单词$w_{mn},w_{mn}\sim Mult({\phi }_{z_{mn}})$，文本${\mathbf{w}}_m$本身是单词序列${\mathbf{w}}_m=(w_{m1},\dots ,w_{mn},\dots ,w_{m{N}_m})$,对应着隐式的话题序列$Z=\{z_{m1},z_{m2},\dots ,z_{m{N}_m}\}$。

上述过程对应的概率图模型如下：

展开图模型如下：

注：LDA的文本生成过程中，假定话题个数$K$给定，实际通常通过实验选定。狄利克雷分布的超参数$a和\beta$通常也是事先给定的。在没有其他先验知识的情况下，可以假设向量a和β的所有分量均为1,下图是参数$\alpha$对狄利克雷分布的影响：

可以看出当$\alpha =1$ 时，狄利克雷分布退化为均匀分布。

LDA 与 PLSA 异同

同：两者都假设话题是单词的多项分布，文本是话题的多项分布。

异：（1）在文本生成过程中，LDA使用狄利克雷分布作为先验分布，而PLSA不使用先验分布(或者说假设先验分布是均匀分布);使用先验概率分布，可以防止学习过程中产生的过拟合 。

（2）学习过程LDA基于贝叶斯学习，而PLSA基于极大似然估计。