LDA的Gibbs抽样详细推理与理解

  • LDA图模型表示
  • LDA所要求得目标分布
  • 联合概率分布
  • 求解
  • 参考文献

本文作者:合肥工业大学 管理学院 钱洋 email:[email protected] 欢迎交流。

LDA图模型表示

LDA的Gibbs抽样详细推理与理解_第1张图片

LDA所要求得目标分布

关于LDA的理解,可以去看《LDA数学八卦》以及Heinrich G. Parameter estimation for text analysis[J]. University of Leipzig, Tech. Rep, 2008这两篇文章。

其实LDA所要做的就是求主题的后验分布。由于这里打公式太麻烦,我就把我写的word直接截图了。下面开始上图。
LDA的Gibbs抽样详细推理与理解_第2张图片

联合概率分布

从上看的式子可以看出,要想求得主题的后验分布,必须去求主题和单词的联合概率分布。下面来求联合概率分布。哎,敲公式,实在太烦,还是上图。。。。

LDA的Gibbs抽样详细推理与理解_第3张图片

LDA的Gibbs抽样详细推理与理解_第4张图片

LDA的Gibbs抽样详细推理与理解_第5张图片

LDA的Gibbs抽样详细推理与理解_第6张图片

求解

下面是最关键的求解,怎么对公式进行化简。本人刚学LDA不过两个多星期,而求解的过程浪费了不少时间。幸亏有我大佳佳师兄指导(LDA数学八卦看了三遍,Parameter estimation for text analysis看了3,4遍,Probabilistic Topic Models看了2遍),所以建议大家集中时间,不要断断续续的看。
LDA的Gibbs抽样详细推理与理解_第7张图片

LDA的Gibbs抽样详细推理与理解_第8张图片

LDA的Gibbs抽样详细推理与理解_第9张图片

这里写图片描述

参考文献

Heinrich G. Parameter estimation for text analysis[J]. University of Leipzig, Tech. Rep, 2008
LDA数学八卦

你可能感兴趣的:(数据挖掘算法,贝叶斯相关模型及程序,概率主题模型,自然语言处理方法及应用,基础机器学习算法理论与编程梳理)