xxxxxx(1): LDA回顾以及变分EM

Latent Dirichlet Allocation (LDA)是一个主题模型,能够对文本进行建模,得到文档的主题分布。常用的模型参数估计方法有Gibbs Sampling和Variational Inference,网上有非常多关于LDA的介绍,最为经典的例如Rickjin的《LDA数学八卦》。本文旨在推导变分EM的全部过程。

转载请注明出处:http://blog.csdn.net/u011414416/article/details/51168242

本文参考了Blei在2003JMLR上发表的LDA论文,文中并没有关于对beta加了先验的情况进行推导。本文的推导基于smoothed LDA(即对主题-词分布beta也施加了Dirichlet先验eta)。如有错误,欢迎指正。


xxxxxx(1): LDA回顾以及变分EM_第1张图片
xxxxxx(1): LDA回顾以及变分EM_第2张图片



xxxxxx(1): LDA回顾以及变分EM_第3张图片
xxxxxx(1): LDA回顾以及变分EM_第4张图片
xxxxxx(1): LDA回顾以及变分EM_第5张图片

xxxxxx(1): LDA回顾以及变分EM_第6张图片
xxxxxx(1): LDA回顾以及变分EM_第7张图片
xxxxxx(1): LDA回顾以及变分EM_第8张图片

你可能感兴趣的:(主题模型,LDA,变分EM)