潜在语义分析 (LSA)，概率潜在语义分析 (PLSA)

潜在语义分析 (latent semantic analysis, LSA)

• 潜在语义分析是一种无监督学习方法，主要用于文本的话题分析，其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系

单词向量空间与话题向量空间

单词向量空间 (word vector space)

• 文本信息处理的一个核心问题是对文本的语义内容进行表示，并进行文本之间的语义相似度计算 (e.g. 文本信息检索、文本数据挖掘)。最简单的方法是利用单词向量空间模型

---

基本思想

• 给定一个文本，用一个向量表示该文本的 “语义”，向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或权值。文本集合中的每个文本都表示为一个向量，存在于一个向量空间。向量空间的度量，如**内积或标准化内积 (余弦相似度)**表示文本之间的 “语义相似度”
• 严格定义: 给定一个含有 $n$ 个文本的集合 $D=\{d_1,...,d_n\}$，以及在所有文本中出现的 $m$ 个单词的集合 $W=\{w_1,...,w_m\}$。将单词在文本中出现的数据用一个单词-文本矩阵 (word-document matrix) 表示，记作 $X$
  
  • 权值通常用单词频率-逆文本频率 (term frequency-inverse document frequency, TF-IDF) 表示，其定义是
    式中 ${\text{tf}}_{ij}$ 是单词 $w_i$ 出现在文本 $d_j$ 中的频数，${\text{tf}}_{\cdot j}$ 是文本 $j$ 中出现的所有单词的频数之和，${\text{df}}_i$ 是含有单词 $w_i$ 的文本数，$\text{df}$ 是文本集合 $D$ 的全部文本数

---

• 优点：单词向量空间模型的优点是模型简单，计算效率高。由于单词的种类很多，而每个文本中出现单词的种类通常较少，所以单词-文本矩阵是一个稀疏矩阵，两个向量的内积计算只需要在其同不为零的维度上进行即可，需要的计算很少，可以高效地完成
• 缺点：内积相似度未必能够准确表达两个文本的语义相似度上。因为自然语言的单词具有一词多义性 (polysemy) 及多词一义性 (synonymy)，即同一个单词可以表示多个语义，多个单词可以表示同一个语义，所以基于单词向量的相似度计算存在不精确的问题
  • 例如在下面的单词-文本矩阵中，文本 $d_1$ 与 $d_2$ 相似度并不高，尽管两个文本的内容相似，这是因为同义词 “airplane” 与 “aircraft” 被当作了两个独立的单词，单词向量空间模型不考虑单词的同义性，在此情况下无法进行准确的相似度计算。另一方面，文本 $d_3$ 与 $d_4$ 有一定的相似度，尽管两个文本的内容并不相似，这是因为单词 “apple” 具有多义，可以表示 “apple computer” 和 “fruit”，单词向量空间模型不考虑单词的多义性，在此情况下也无法进行准确的相似度计算
    

话题向量空间 (topic vector space)

• 两个文本的语义相似度可以体现在两者的话题相似度上。一个文本一般含有若干个话题，如果两个文本的话题相似，那么两者的语义应该也相似。话题可以由若干个语义相
  关的单词表示，同义词可以表示同一个话题，而多义词可以表示不同的话题。这样，基于话题的模型就可以解决上述基于单词的模型存在的问题

---

话题向量空间

• 假设所有文本共含有 $k$ 个话题。假设每个话题由一个定义在单词集合 $W$ 上的 $m$ 维向量表示，称为话题向量，即
  其中 $t_{il}$ 是单词 $w_i$ 在话题 $t_l$ 的权值，权值越大，该单词在该话题中的重要度就越高。这 $k$ 个话题向量 $t_1,...,t_k$ 张成一个话题向量空间 (topic vector space)，维数为 $k$。注意话题向量空间 $T$ 是单词向量空间 $X$ 的一个子空间
• 话题向量空间 $T$ 也可以表示为一个矩阵，称为单词-话题矩阵 (word-topic matrix)，记作
  

---

文本在话题向量空间的表示

• 现在考虑文本集合 $D$ 的文本 $d_j$，在单词向量空间中由一个向量 $x_j$ 表示，将 $x_j$ 投影到话题向量空间 $T$ 中，得到在话题向量空间的一个向量 $y_j$，$y_j$ 是一个 $k$ 维向量。也就是说
  $$x_j\approx T{y}_j$$可以看出，$y_j$ 的 $k$ 个分量就代表文本 $d_j$ 在 $k$ 个话题上的权值，权值越大，该话题在该文本中的重要度就越高
• 将 $Y=\left[\begin{array}{cccc}{y}_1& y_2& ...& y_n\end{array}\right]$ 称为话题-文本矩阵 (topic-document matrix)，表示话题在文本中出现的情况. 所以，单词-文本矩阵 $X$ 可以近似的表示为单词-话题矩阵 $T$ 与话题-文本矩阵 $Y$ 的乘积形式
  $$X\approx TY$$

---

潜在语义分析

• 潜在语义分析就是确定话题向量空间 $T$ 以及文本在话题空间的表示 $Y$， 使两者的乘积是单词-文本矩阵 $X$ 的近似
• 经过潜在语义分析后，在话题向量空间中，两个文本 $d_i$ 与 $d_j$ 的相似度可以由对应的向量的内积即 $y_i\cdot y_j$ 表示 (注意话题的个数通常远远小于单词的个数，话题向量空间模型更加抽象)

潜在语义分析算法 (矩阵奇异值分解算法)

• 潜在语义分析根据确定的话题个数 $k$ 对单词-文本矩阵 $X$ 进行截断奇异值分解，将其左矩阵 $U_k$ 作为话题向量空间，将其对角矩阵与右矩阵的乘积 ${\Sigma }_k{V}_k^{T}zW$ 作为文本在话题向量空间的表示
  

LSA 如果碰到新的文本还要连同之前的所有文本一起重新进行矩阵分解，感觉还是不太方便

非负矩阵分解算法 (non-negative matrix factorization, NMF)

非负矩阵分解

• 若一个矩阵 $X$ 的所有元素非负，则称该矩阵为非负矩阵，记作 $X\ge 0$
• 给定一个非负矩阵 $X\ge 0$，找到两个非负矩阵 $W\ge 0$ 和 $H\ge 0$，使得
  $$X\approx WH$$称为非负矩阵分解
• 可见，非负矩阵分解也可以用于话题分析。由于通常单词-文本矩阵 $X$ 是非负的，因此可以对 $X$ 进行非负矩阵分解，将其左矩阵 $W$ 作为话题向量空间，将其右矩阵 $H$ 作为文本在话题向量空间的表示。称 $W$ 为基矩阵，$H$ 为系数矩阵; 相比使用奇异值分解的潜在语义分析算法，非负矩阵分解具有很直观的解释，话题向量和文本向量都非负，对应着 “伪概率分布”，向量的线性组合表示局部叠加构成整体

非负矩阵分解的形式化

• 非负矩阵分解可以形式化为最优化问题求解

---

首先定义损失函数：

• (1) 平方损失: 其下界是 0，当且仅当 $A=B$ 时达到下界
  
• (2) 散度损失函数:其下界也是 0，当且仅当 $A=B$ 时达到下界。$A$ 和 $B$ 不对称。当 ${\sum }_{i,j}{a}_{ij}={\sum }_{ij}{b}_{ij}=1$ 时散度损失函数退化为 Kullback-Leiber 散度或相对熵，这时 $A$ 和 $B$ 是概率分布
  

那么这个散度损失函数是怎么来的呢？
首先假设我们使用一阶泰勒展开 $f(y)\approx f(x)+\nabla f(x)(y-x)$ 去近似估计函数值，那么估计误差为 $$f(x)-f(y)+\nabla f(x)(y-x)$$可以将其进行推广得到 Bregman 距离：
$$B_{\varphi }(x||y)=\varphi (x)-\varphi (y)-⟨\nabla \varphi (x),x-y⟩$$其中，$\varphi$ 为定义在闭合凸集的连续可微凸函数，$⟨\cdot ,\cdot ⟩$ 表示向量内积；如果 $\varphi$ 取信息熵的形式：
$$\varphi (x)=\sum _{i=1}^n{x}_i\ln x_i$$则
$$B_{\varphi }(x||y)=\sum _{i=1}^n\left(y_i\ln \frac{y_i}{x_i}-y_i+x_i\right)$$这样就可以得出散度损失函数
$$D(A||B)=B_{\varphi }(b||a)==\sum _{ij}\left(a_{ij}\ln \frac{a_{ij}}{b_{ij}}-a_{ij}+b_{ij}\right)$$也就是说，散度损失函数就可以看作以 $b$ 为基准点对 $a$ 的信息熵进行一阶泰勒估计时的误差，直观上看，误差越小说明它们越接近

---

接着定义以下的最优化问题：

或

非负矩阵分解算法

• 考虑求解上面的两个最优化问题。由于目标函数 $||X-WH|{|}^2$ 和 $D(X||WH)$ 只是对变量 $W$ 和 $H$ 之一的凸函数，而不是同时对两个变量的凸函数，因此找到全局最优 (最小值) 比较困难，可以通过数值最优化方法求局部最优 (极小值)
• 梯度下降法比较容易实现，但是收敛速度慢。共轭梯度法收敛速度快，但实现比较复杂。Lee 和 Seung 提出了新的基于 “乘法更新规则” 的优化算法，交替地对 $W$ 和 $H$ 进行更新，其理论依据是下面的定理：
  

定理证明见 Algorithms for Non-negative Matrix Factorization (论文翻译)

---

非负矩阵分解算法 (只介绍损失函数为平方损失的算法)

• 最优化目标函数：
  
• 应用梯度下降法求解。首先求目标函数的梯度
  然后求得梯度下降法的更新规则，有
  选取更新步长为
  即得乘法更新规则
  

---

• (1) 选取初始矩阵 $W$ 和 $H$ 为非负矩阵，可以保证迭代过程及结果的矩阵 $W$ 和 $H$ 均为非负
• (2) 每次迭代对 $W$ 的列向量归一化，使基向量为单位向量

可见，乘法更新规则的迭代算法本质是梯度下降法，通过定义特殊的步长和非负的初始值，保证迭代过程及结果的矩阵 $W$ 和 $H$ 均为非负

概率潜在语义分析 (probabilistic latent semantic analysis, PLSA)

• 概率潜在语义分析受潜在语义分析的启发，1999 年由 Hofmann 提出，前者基于概率模型，后者基于非概率模型
• 概率潜在语义分析模型有生成模型，以及等价的共现模型。下面先介绍生成模型，然后介绍共现模型

生成模型

基本思想

• 生成模型将话题看作隐变量 $z$，文本和单词对看作观测变量 $(w,d)$；整个模型表示文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程。对文本集合进行概率潜在语义分析，就能够发现每个文本的话题，以及每个话题的单词
  • 这里看到隐变量是不是一下就想到了 EM 算法？没错，生成模型也是 EM 算法的一个应用。这里的观测变量即为单词-文本对 $(w,d)$，隐变量即为话题 $z$，目标是最大化单词-文本矩阵 $T$ 的生成概率 (也就是极大化似然函数)

生成模型的定义

• 假设有单词集合 $w=\{w_1,w_2,..,w_M\}$，其中 $M$ 是单词个数；文本 (指标) 集合 $D=\{d_1,...,d_N\}$，其中 $N$ 是文本个数；话题集合 $Z=\{z_1,...,z_k\}$，其中 $K$ 是预先设定的话题个数
• 随机变量 $w$ 取值于单词集合; 随机变量 $d$ 取值于文本集合，随机变量 $z$ 取值于话题集合；$P(d)$ 表示生成文本 $d$ 的概率，$P(z|d)$ 表示文本 $d$ 生成话题 $z$ 的概率， $P(w|z)$ 表示话题 $z$ 生成单词 $w$ 的概率 (也就是说，一个文本的内容由其相关话题决定， 一个话题的内容由其相关单词决定)

---

生成模型定义

• 生成模型通过以下步骤生成文本-单词共现数据:
  • (1) 依据概率分布 $P(d)$，从文本集合中随机选取一个文本 $d$，共生成 $N$ 个文本; 针对每个文本，执行以下操作：
  • (2) 在文本 $d$ 给定条件下，依据条件概率分布 $P(z|d)$，从话题集合随机选取一个话题 $z$，共生成 $L$ 个话题，这里 $L$ 是文本长度
  • (3) 在话题 $z$ 给定条件下，依据条件概率分布 $P(w|z)$，从单词集合中随机选取一个单词 $w$
• 生成模型中，单词变量 $w$ 与文本变量 $d$ 是观测变量，话题变量 $z$ 是隐变量。文本-单词共现数据 $T$ 的生成概率为所有单词-文本对的生成概率的乘积，其中 $n(w,d)$ 表示 $(w,d)$ 的出现次数，每个单词-文本对 $(w,d)$ 的生成概率由以下公式决定 (在生成模型中，$w$ 与 $d$ 是条件独立的):
  $$\begin{array}{rl}P(w,d)& =P(d)P(w\mid d)\\ & =P(d)\sum _{z}P(w,z\mid d)\\ & =P(d)\sum _{z}P(w\mid z,d)P(z\mid d)\\ & =P(d)\sum _{z}P(w\mid z)P(z\mid d)\end{array}$$

我们的目标是极大化文本-单词共现数据 $T$ 的生成概率。如果直接定义单词与文本的共现概率 $P(w,d)$，模型参数的个数是 $O(M\cdot N)$。而生成模型的参数个数只有 $O(M\cdot K+N\cdot K)$。现实中 $K\ll M$， 所以概率潜在语义分析通过话题对数据进行了更简洁地表示，减少了学习过程中过拟合的可能性

---

概率有向图模型

• 生成模型属于概率有向图模型，如图 18.2 所示。图中实心圆表示观测变量，空心圆表示隐变量，箭头表示概率依存关系，方框表示多次重复，方框内数字表示重复次数
  

生成模型学习的 EM 算法

• 我们的目标是最大化如下似然函数：
  

---

E 步:计算 $Q$ 函数

• 模型参数 $\theta =\{P(w\mid z),P(z\mid d)\}$；设隐变量为
  $${\gamma }_{ijk}=\{\begin{array}{l}1给定(w_i,d_j)，话题为k\\ 0else\end{array}$$
• 为方便起见，记 $n(w_i,d_j)=n_{ij}$，则完全数据的似然为
  $$\begin{array}{rl}P(w,d,\gamma \mid \theta )& =\prod _{i,j}P(w_i,d_j,\gamma \mid \theta {)}^{n_{ij}}\\ & =\prod _{i,j,k}{\left[P(d_j)P(z_k\mid d_j)P(w_i\mid z_k)\right]}^{n_{ij}\cdot {\gamma }_{ijk}}\end{array}$$完全数据的对数似然为
  $$\begin{array}{rl}\log P(w,d,\gamma \mid \theta )& =\sum _{i,j,k}{n}_{ij}\cdot {\gamma }_{ijk}\left[\log P(d_j)+\log P(z_k\mid d_j)+\log P(w_i\mid z_k)\right]\end{array}$$为了计算上式在给定不完全数据下的对隐变量的期望，只需计算 ${\gamma }_{ijk}$ 的条件期望 ${\hat{\gamma }}_{ijk}$
  $$\begin{array}{rl}{\hat{\gamma }}_{ijk}& =E[{\gamma }_{ijk}\mid w,d,{\theta }^{-}]\\ & =P({\gamma }_{ijk}=1\mid w_i,d_j,{\theta }^{-})\\ & =P(z_k\mid w_i,d_j,{\theta }^{-})\\ & =\frac{P(z_k,w_i\mid d_j,{\theta }^{-})}{{\sum }_{k}P(z_k,w_i\mid d_j,{\theta }^{-})}\\ & =\frac{P(z_k\mid d_j)P(w_i\mid z_k,d_j,{\theta }^{-})}{{\sum }_{k}P(z_k\mid d_j)P(w_i\mid z_k,d_j,{\theta }^{-})}\\ & =\frac{P(z_k\mid d_j)P(w_i\mid z_k)}{{\sum }_{k}P(z_k\mid d_j)P(w_i\mid z_k)}\end{array}$$因此 $Q$ 函数为
  $$\begin{array}{r}Q=\sum _{i,j,k}{n}_{ij}\cdot {\hat{\gamma }}_{ijk}\left[\log P(d_j)+\log P(z_k\mid d_j)+\log P(w_i\mid z_k)\right]\end{array}$$省去常数项，可将 $Q$ 函数简化为函数 $Q^{\prime }$
  $$\begin{array}{r}{Q}^{\prime }=\sum _{i,j,k}{n}_{ij}\cdot {\hat{\gamma }}_{ijk}\left[\log P(z_k\mid d_j)+\log P(w_i\mid z_k)\right]\end{array}$$

---

M 步: 极大化 $Q$ 函数

• 通过约束最优化求解 $Q$ 函数的极大值，这时 $P(z_k\mid d_j)$ 和 $P(w_i\mid z_k)$ 是变量，满足约束条件
  应用拉格朗日法，引入拉格朗日乘子 ${\tau }_k$ 和 ${\rho }_j$，定义拉格朗日函数 $\Lambda$
  将拉格朗日函数 $\Lambda$ 分别对 $P(z_k\mid d_j)$ 和 $P(w_i\mid z_k)$ 求偏导数，井令其等于 0，得到下面的方程组
  解方程组得到 $M$ 步的参数估计公式:
  

---

共现模型

基本思想

• 共现模型将话题看作隐变量 $z$，文本和单词对看作观测变量 $(w,d)$；整个模型表示话题生成文本，话题生成单词，从而得到单词-文本共现数据的过程

共现模型的定义

• 共现模型中，文本-单词共现数据 $T$ 的生成概率为所有单词-文本对的生成概率的乘积，其中每个单词-文本对 $(w,d)$ 的生成概率由以下公式决定 (在生成模型中，$w$ 与 $d$ 是条件独立的):
  $$\begin{array}{rl}P(w,d)& =\sum _{z\in \mathcal{Z}}P(z)P(w,d\mid z)\\ & =\sum _{z\in \mathcal{Z}}P(z)P(w\mid z)P(d\mid z)\end{array}$$
• 共现模型也可以表示为三个矩阵乘积的形式。这样，概率潜在语义分析与潜在语义分析的对应关系可以从中看得很清楚。下面是共现模型的矩阵乘积形式：
  概率潜在语义分析模型中的矩阵 $U^{\prime }$ 和 $V^{\prime }$ 是非负的、规范化的，表示条件概率分布，而潜在语义分析模型中的矩阵 $U$ 和 $V$ 是正交的，未必非负，并不表示概率分布

---

概率有向图模型

共现模型的学习算法推导类似于生成模型，这里略去

共现模型与生成模型

• 虽然生成模型与共现模型在概率公式意义上是等价的，但是拥有不同的性质。生成模型刻画文本-单词共现数据生成的过程，共现模型描述文本-单词共现数据拥有的模式
• 生成模型式 $$\begin{array}{rl}P(w,d)& =P(d)\sum _{z}P(w\mid z)P(z\mid d)\end{array}$$ 中单词变量 $w$ 与文本变量 $d$ 是非对称的，而共现模型式$$\begin{array}{rl}P(w,d)& =\sum _{z\in \mathcal{Z}}P(z)P(w\mid z)P(d\mid z)\end{array}$$中单词变量 $w$ 与文本变量 $d$ 是对称的。所以前者也称为非对称模型，后者也称为对称模型

---

Ref

• 《统计学习方法》
• 非负矩阵分解 (1)：准则函数及 KL 散度