LDA主题模型和推荐系统3

LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽样等知识

这个图模型表示法也称作 “盘子表示法”（plate notation）。图中的双圆圈表示可观测变量（observed variable），单圆圈表示潜在变量（latent variable），箭头表示两变量间的条件依赖性（conditional dependency），把节点用方框(plate)圈起来，表示其中的节点有多种选择，重复次数在方框的右下角。

该模型有两个参数需要推断（infer）：一个是 “文档 - 主题” 分布θ，另外是T个 “主题 - 单词” 分布ϕ。通过学习（learn）这两个参数，我们可以知道文档作者感兴趣的主题，以及每篇文档所涵盖的主题比例等。推断方法主要有 LDA 模型作者提出的变分 EM 算法，还有现在常用的 Gibbs 抽样法。

---

理解LDA，可以分为下述5个步骤：

一个函数：gamma函数

四个分布：二项分布、多项分布、beta分布、Dirichlet分布

一个概念和一个理念：共轭先验和贝叶斯框架

两个模型：pLSA、LDA（在本文第4 部分阐述）

一个采样：Gibbs采样

---

在LDA中，一篇文档是这样生成的：

---

LDA

pLSA是频率派的思想，那么LDA就是贝叶斯派的思想。它认为主题分布和词分布也是不确定了，为了得到他们，需要用他们的先验分布(Dirichlet)来进行估计。所以，LDA的过程是这样的：

---

来源：https://cosx.org/2010/10/lda_topic_model

           http://www.360doc.com/content/16/0428/10/478627_554452907.shtml

http://blog.jqian.net/post/lda.html（赞）

http://blog.csdn.net/claire7/article/details/46780849

http://blog.csdn.net/pipisorry/article/details/42649657

---