PLSA原理

一、原理

来源：https://www.cnblogs.com/xueliangliu/archive/2012/08/01/2962162.html

PLSA是个从文档中发现topic的算法，它认为文本可以分三个层次来理解。1，文档(d)；2，主题(z)；3，单词(w)，既一个文档包含若干主题，每个主题包含若干单词。从概率层面来讲，这里的包含其实是某种分布。也就是说，一个文档可以看做在一些主题上面的分布(P(z|d)，而每个主题看做在单词上面的某种分布(P(w|z))。 pLSA就是对这些分布进行建模。


相信大部分人都可能理解之前的这些内容，关键难点在于求解。其实呢，一切古典概率都是纸老虎，概率，在文本处理里面，本质就是词频。
pLSA模型的目标函数就是使得所有文档单词组合的似然函数最大：

这里就是单词w_i在文档d_j中出现的次数。
问题的解可以用EM算法实现。
首先，对变量初始化。
在E step里面，计算

这里就是求一个文档中的某个单词在某主题下面的分布，一个简单的概率计算，下标省略，注意一致。
在M step，计算

这里求得是在所有文档中一个单词在某个主题下面的概率。
另外一个更新是

这里求的是某文档在主题上面的分布。