LDA模型原理学习及应用

•LDA是一种文档主题生成模型，也称为三层贝叶斯概率模型，包含词、主题和文档三层结构。利用文档中单词的共现关系来对单词按主题聚类，得到“文档-主题”和“主题-单词”2个概率分布。

•LDA认为一篇文章的每个词都是通过以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语。

•LDA是一种非监督机器学习技术，可以用来识别大规模文档集或语料库中潜藏的主题信息。它采用了词袋（bag of words）的方法，将每一篇文档视为一个词频向量，从而将文本信息转化为易于建模的数字信息。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

 

简述LDA生成过程

  (1)对每一篇文档，从主题分布中抽取一个主题;
  (2)从上述被抽到的主题所对应的单词分布中抽取一个单词;
  (3)重复上述过程直至遍历文档中的每一个单词。

 

LDA整体流程

•文档集合D，主题集合T：D中每个文档d看作一个单词序列，wi表示第i个单词，设d有n个单词。文档集合D中的所有单词组成一个大集合VOCABULARY(简称VOC)。

•对每个D中的文档d，对应到不同Topic的概率θd，其中，pti表示d对应T中第i个topic的概率。计算方法：pti=nti/n，其中nti表示d中对应第i个topic的词的数目，n是d中所有词的总数。

•对每个T中的topic，生成不同单词的概率φt，其中，pwi表示t生成VOC中第i个单词的概率。计算方法：pwi=Nwi/N，其中Nwi表示对应到topict的VOC中第i个单词的数目，N表示所有对应到topict的单词总数。

 

LDA的核心公式

P(词 | 文档)=P（词 | 主题）P（主题 | 文档） 

p(w|d)=p(w|t)*p(t|d)

•以Topic作为中间层，可以通过当前的θd和φt给出了文档d中出现单词w的概率。p(t|d)利用θd计算得到，p(w|t)利用φt计算得到。

•实际上，利用当前的θd和φt，我们可以为一个文档中的一个单词计算它对应任意一个Topic时的p(w|d)，然后根据这些结果来更新这个词应该对应的topic。如果这个更新改变了这个单词所对应的Topic，就会反过来影响θd和φt。

应用

LDA主题模型可以对文本数据进行建模，挖掘其中的隐主题信息实现特征降维，并对向量化的结果进行过滤去噪。