文本挖掘第三周

一 概率主题模型

1.1 混合语言模型

如何摆脱背景词（数据中频率高）——常见词不应用分布解释

背景主题模型：生成常用词汇

使用另个分布：需决定产生词时用哪一个分布

计算一个词概率：两种情况的总和

问题：是如何区分词在哪一个分布的？词在每个分布的概率是如何计算的？

1.2 d中词的概率

假设背景词已知，如何调整θd来让已观测到的高频词概率达到最大

当已知背景词模型时，B中词的概率高，d中词的概率就小了。、

1.3在文档中添加更多的背景词

        一个词出现得越多，那么这个词在d中的概率越高，对整体影响越大。

        而如果提高p（thetaB）,那么提高d中的P的作用就不大了。即词出现的P还是受到p（thetaB）概率的规范影响的。

总结：

        将高概率分配给数据中高频率的词汇。这是协作最大化可能性。其次，不同的组件模型倾向于在不同的词上下注高概率。这是为了避免竞争或浪费概率。这将使他们能够更有效地合作，最大限度地发挥作用。

1.4 期望最大化算法（EM）

Z=0：单词来自于d。    Z=1：单词来自于背景B

EM操作：

给所有参数（一个词的概率）分配随机数。

在θd的情况下，来猜测这些词的z值（E）

在z值确定后，把相同分布的词分到同一组，利用正态计数来预测概率，修正参数（M）

    EM将趋于局部最大值

爬坡演算法

计算下限，不直接计算似然函数（E）

最大化下限，使得我们能将参数移动到一个新的位置（M）

最终确保得到局部最大值

---

二：概率潜在语义分析（PLSA）

2.1简要介绍

输入：集合、主题数量、一个词汇集。

输出：主题类别，特征描述

有约束的优化问题：

（1）词分布和为1       （2）话题覆盖的分布和为1

2.2 通过EM计算最大估计

z：隐藏变量（话题指标）

在（E）中：预测单词属于哪一类。从每个分布观察这个词的概率。

在（M）中：通过计算得到真实的估计。可以在所有的主题之间进行归一化以得到pi的重新估计，覆盖面。或者我们可以根据所有单词重新规范化。

---

三：隐含利克雷分布（LDA）

3.1.先验知识扩展PLSA（监督）

标准PLSA:完全基于数据做最大似然估计

用户“检索模型”作为主题，对特定概念感兴趣

p(^)即为先验知识

伪计数：用先验知识中的词概率定义

增加伪计数，构成γ分布

μ反应先验知识的强度（0，不考虑先验知识。无穷大—背景语言模型）

3.2.将PLSA扩展为生成模型（LDA）

LDA是PLSA的贝叶斯版本

LDA不允许释放链条，强制其从另一个分配中抽取。将分别从两个Dirichlet分布中抽取，但​​是狄利克雷分布是向量的分布。所以它给了我们一个向量四个特定选择的概率。

对比差异：

LDA的最大似然估计;

名称,主题，和覆盖范围不再是LDA中的参数,要使用基本的推论或后验推断来根据α和β的参数来计算它们。