[学习笔记]主题模型(Topic Model)和PLSA( probabilistic latent semantic analysis)
读了著名的【Google News Personalization Scalable Online CF】，提及到针对用户聚类，利用相似用户性信息计算喜欢的news。其中包含min-hash以及plsi，产生了对plsi的兴趣。
plsi是model-based 推荐算法，属于topic(aspect) model，最近研究了topic model，发现其在NLP领域用途很大。
引入：
在文本挖掘时，计算文档相似性是很基础的操作，通常，对文本进行分词，构建VSM，通过jaccard或者cosin计算距离或者相似性，这是基于corpus的思路，仅仅考虑词组，并未考虑文本的语义信息。针对下面情况，基于cropus很难处理：
*如果时间回到2006年，马云和杨致远的手还会握在一起吗
*阿里巴巴集团和雅虎就股权回购一事签署了最终协议
如果采用基于corpus的jaccard距离等算法，那么这两个文本的完全不相关，但是事实上，马云和阿里巴巴集团，杨致远和雅虎有着密切的联系，从语义上看，两者都和“阿里巴巴"有关系。
此外，另一个case：
*富士苹果真好，赶快买
*苹果四代真好，赶快买
从corpus上来看，两者非常相似，但是事实上，2个句子从语义上来讲，没有任何关系，一个是”水果“另一个是”手机"。
通过上面的例子，差不多也看出来topic model是什么以及解决什么问题。
概念：
topic model是针对文本隐含主题的建模方法，针对第一个case，马云对应的主题是阿里巴巴，阿里巴巴集团也隐含阿里巴巴主题，这样两个文本的主题匹配上，认为他们是相关的，针对第二个，分别针对水果以及手机主题，我们认为他们是不相关的。
究竟什么是主题？[接下来参考baidu搜索研发部官方博客中对语义主题的定义] 主题就是一个概念、一个方面。它表现为一系列相关的词，能够代表这个主题。比如如果是”阿里巴巴“主题，那么”马云“”电子商务“等词会很高的频率出现，而设计到”腾讯“主题，那么“马化腾”“游戏”“QQ”会以较高的频率出现。如果用数学来描述一下的话，主题就是词汇表上词语的条件概率分布，与主题密切相关的词，条件概率 p(w|z) 越大。主题就像一个桶，装了出现频率很高的词语，这些词语和主题有很强的相关性，或者说这些词语定义了这个主题。同时，一个词语，可能来自于这个桶，也可能来自那个桶，比如“电子商务”可以来自“阿里巴巴”主题，也可以来自“京东“主题，所以一段文字往往包含多个主题，也就是说，一段文字不只有一个主题。
上面介绍了主题的概念，我们最为关心的是如何得到这些主题？这就是topic model要解决的问题。
define： d表示文档，w表示词语，z表示隐含的主题。
p(w|d)=∑z
p(w|z)p(z|d)
其中 p(w|d) 表示w在文档d中出现的概率，针对训练语料，对文本进行分词，w的频度除以文档所有词语的频度和，可以求出，对于未知数据，model用来计算该value.
p(w|z) 表示在给定主题情况下词语的出现的概率是多少，刻画词语和主题的相关程度。
p(z|d) 表示文档中每个主题出现的概率
所以主题模型就是 利用大量已知的 p(w|d) 词语-文档信息，训练出来主题-文档 p(z|d)
以及词语-主题 p(w|z)
。
plsa模型：
plsa是一种topic model，它属于生成模型(不是很理解)，给定文档d后，以一定的概率选择d对应的主题z，然后以一定概率选择z中的词语w.
plsa提供了一种模型求解的方法，采用之前介绍的EM算法，EM算法在之前已经介绍，现在不作处理，直接利用EM信息对topic model进行求解。
l(θ)
= ∑N
i=1
∑
M
j=1
n(d
i
,w
j
)lnp(w
j
|d
i
)
>= ∑N
i=1
∑
M
j=1
n(d
i
,w
j
)∑
Z
k=1
Q(z
k
|d
i
,w
j
)lnp(w
j
|z
k
)p(z
k
|d
i
)
其中Q是z的分布函数，表示在给定参数的情况下(w,d)，z的后验概率。
根据EM算法，我们最后求解：
E-step :
Q(zk
|d
i
,w
j
)=p(w
j
|z
k
)p(z
k
|d
i
)
∑
K
k=1
p(w
j
|z
k
)p(z
k
|d
i
)
M-step:
E(n(d,w)lnp(w|z)p(z|d))=∑N
i=1
∑
M
j=1
n(d
i
,w
j
)∑
Z
k=1
Q(z
k
|d
i
,w
j
)lnp(w
j
|z
k
)p(z
k
|d
i
)
s.t.
∑K
k=1
p(z
k
|d
i
)=1
∑M
j=1
p(w
j
|z
k
)=1
符合上面约束的情况下，求解最大值，
L(θ)
= ∑N
i=1
∑
M
j=1
n(d
i
,w
j
)∑
Z
k=1
Q(z
k
|d
i
,w
j
)lnp(w
j
|z
k
)p(z
k
|d
i
)+∑
K
k=1
λ
z
∑
M
j=1
(1−p(w
j
|z
k
))+∑
N
i=1
λ
d
∑
K
k=1
(1−p(z
k
|d
i
))
其中 θ 代表期望估计的参数， p(w
j
|z
k
),p(z
k
|d
i
),λ
z
,λ
d
求 L(θ) 的最大值，需要对各个参数求偏导，令其等于0，
首先求解 p(wj
|z
k
)
对其求导后，
有 ∑N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
p(w
j
|z
k
)
−λ
z
=0
=> ∑N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)−λ
z
p(w
j
|z
k
)=0
=> p(wj
|z
k
)=∑
N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
λ
z
已知有约束 ∑M
j=1
p(w
j
|z
k
)=1
，将 p(w
j
|z
k
)=∑
N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
λ
z
带入可以求出：
∑M
j=1
∑
N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
λ
z
)=1
=> λz
=∑
M
j=1
∑
N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
最后可以求得参数:
p(wj
|z
k
)=∑
N
i=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
∑
N
i=1
∑
M
j=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
基于同样的方式，求 p(zk
|d
i
)
，求偏导后有：
∑M
j=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)−λ
d
p(z
k
|d
i
)=0
p(zk
|d
i
)=∑
M
j=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
λ
d
利用约束，可以求得：
p(zk
|d
i
)=∑
M
j=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
∑
M
j=1
∑
K
k=1
n(d
i
,w
j
)Q(z
k
|d
i
,w
j
)
EM是迭代算法，所以针对 p(zk
|d
i
p(w
j
|z
k
都需要给出一个初始值，而 Q(z
k
|d
i
,w
j
)
表示在参数已知(上一轮迭代结果)时Z的分布，所以每次迭代式 Q(z
k
|d
i
,w
j
)
是利用之前的结果直接算出来。
主题模型的用途：
1.计算文本的相似性，考虑到文本语义，更好的刻画文本相似性，避免多义词，同义词的影响
2.文本聚类，用户聚类(RS)
3.去除噪音，只保留最重要的主题，更好的刻画文档
plsa在推荐系统中的应用：
上面介绍的是文档和词语的关系，映射到推荐系统中，表示为用户和ITEM的关系，ITEM可以使网，视频等。
这样可以看出来描述的完全是同样的问题，
求解 p(s|u)=∑z
p(s|z)p(z|u)
模型参数为 p(s|z)?p(z|u) ，里面上面的推导过程可以求得。
具体的可以参考：
Unsupervised learning by probabilistic latent semantic analysis
Latent Semantic Models for collaborative filtering
Google News Personalization Scalable Online CF