文本建模系列之二:pLSA

“庙小妖风大,水浅王八多”。还是这句话,这是业余研究生的文本建模系列之二:关于pLSA。前述就到此。

 

pLSA:Probabilistic Latent Senmantic Indexing.是Hoffman在1999年提出的基于概率的隐语义分析【1】。之所以说是probabilistic,是因为这个模型中还加入了一个隐变量:主题Z ,也正因为此,它被称之为主题模型。

 

在pLSA中,一片文档可能有多个主题,而一个主题对应着多个单词的分布,以【2】LDA数学八卦一文中的描述为例,可以比较生动的阐述在pLSA模型中,一篇文档是如何生成的。


文本建模系列之二:pLSA_第1张图片
 因此,对于文档d中的一个单词w,其概率可以描述为:

 

 
文本建模系列之二:pLSA_第2张图片
 

 

 对于整个语料,那么其似然函数是:

 

当然,其对数的似然函数如下:



 其中
 n(d,w)表示在文档d中,单词w出现的次数

 

 带入第一式可以得到对数的似然函数是:



 

 然后现在的问题是:如何求取P(w|z)和P(z|d).

 

这种隐变量的求法和之前的高斯混合分布的求法其实是一样的,很显然的需要EM算法来进行求导。回顾之前的EM算法,我们首先需要求取Q函数的分布的期望,然后另该期望最大化。

 

根据Jessen不等式:

 

 变成求右边下界的问题,需要等号成立的话,需要:


文本建模系列之二:pLSA_第3张图片
 因此我们得出:


文本建模系列之二:pLSA_第4张图片

于是E步就是:


有两个约束条件:


文本建模系列之二:pLSA_第5张图片
 
 
 下面进行M步,也就是求期望最大:

使用拉格朗日乘法求:




 
 

使偏导为零可以得出结果:


文本建模系列之二:pLSA_第6张图片
 这就求出了我们需要的参数。

 

然后就是重复迭代的过程,直至收敛。

 

 好了,模型已经建立完毕,现在的问题是给出一篇新的文档,如何求取其文档的主题分布呢。当然最直接的想法就是,将该文档丢到语料库中重新爬一遍,然后得出结果,当然这种耗时大一般不建议采用,论文【1】在给出了几种方法,我觉的主要是fold-in方法比较重要:

将训练出来的p(w|z)固定不变,在EM算法中,只有一个文档q,通过迭代跑p(z|d),之后计算相似度​

 

OK,这就是pLSA.

求偏导可以参考【3】

 

参考文献:

[1]Probabilitic Latent Semantic Indexing.Thomas Hofmann .

[2]LDA数学八卦.靳志辉

[3]基于PLSA主题模型的文本聚类

 

 

你可能感兴趣的:(PLSA,文本建模)