LDA(主题模型)简介

LDA(主题模型)

1、 基本概念

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型。LDA的作用是判断两个文档的相似度,传统的方法使用词共现来判断,例如TF-IDF等,但这种方法未考虑文档的语义结构。LDA模型根据文档中的主题分布来判断文档的相似度。给定一个文档,首先分析出文档中包含哪些主题,然后判断不同文档中各个主题出现的概率大小。
例如下面两句话:
“乔布斯离我们而去了。”
“苹果价格会不会降?”
使用词共现方法无法判断这两句话相似,但是LDA模型可以根据主题词判断出这两 句话是否相似。
其中主题模型的主题是一系列相似度较高的单词(使用条件概率来表示),这些单词代表同一个主题。

2、 生成主题

首先,可以用生成模型来看文档和主题这两件事。所谓生成模型,我们认为一篇文章的每个词都是通过“文档以一定概率选择了某个主题,然后从这个主题中以一定概率选择某个词语”这样一个过程得到的。也就是说,每篇文档先生成主题,根据主题再生成词语。那么,如果我们要生成一篇文档,它里面的每个词语出现的概率为:


这里写图片描述

给定一系列文档,通过对文档进行分词,计算各个文档中每个单词的词频就可以得到左边的”文档-词语”概率。主题模型就是通过左边的”文档-词语”概率进行训练,学习出右边两个概率。

详细的数学推导:
http://www.360doc.com/content/16/0428/10/478627_554452907.shtml

你可能感兴趣的:(机器学习)