为了解决“一词多义”和“多词一意”的问题，引入“主题”
LDA本质是一个三层贝叶斯网络
1、共轭分布
1、Beta分布是二项分布的共轭先验分布
2、Dirichlet分布是多项分布的共轭先验分布
Dirichlet分布的参数\([\alpha_{1},\alpha_{2},....,\alpha_{n}]\)，一般\(\alpha\)都取一样的值。
\(\alpha=1\quad\) 均匀分布
\(\alpha>1\quad\) 主题分布相等的概率增大
\(\alpha<1\quad\) 某一主题突出的概率增大
2、LDA模型
LDA模型框图如下图所示
流程如下：
1、取\(\alpha\),用\(Dir(\alpha)\)采样得到主题分布\(v_{m}\)
2、对\(v_{m}\)采样得到某一主题
3、取\(\beta\),用\(Dir(\beta)\)对每个主题分别采样得到词分布\(\varphi_{k}\)
4、取得到的主题的对应的词分布，
5、在词分布中采一个词
3、LDA问题
LDA问题的已知是：已知词语\(w\)(可观测),已知先验超参数\(\alpha\)和\(\beta\)
LDA问题的所求是：主题z，主题分布\(\theta\),词分布\(\varphi\)
4、Gibbs采样
Gibbs采样是一个为词语标记主题的算法。其流程如下：
1、随机为文本中每个词分配主题
2、统计：a.每个主题z下出现词t的数量. b.每个文档m下出现主题z的数量
3、计算\(P(z_{i}|z_{i-1,},w)\),返回步骤2，迭代。