统计学习方法-潜在语义分析（LSA）-读书笔记

1、前言

文本数据挖掘中最简单的方法是利用向量空间模型（vector space model,VSM）,也就是但词向量空间模型，创造一个单词-文本矩阵，矩阵中的值通常采用单词在文本中出现的频数或权值表示。它是一个稀疏矩阵。
权值通常采用单词频率-逆文本频率（TF-IDF）表示，定义为
$$TFID{F}_{ij}=\frac{t{f}_{ij}}{tf{\cdot }_j}\log \frac{df}{d{f}_i}$$
$t{f}_{ij}$是单词出现在文本中的频数，$tf{\cdot }_j$是文本中出现的所有单词的频数之和，$d{f}_i$是含有单词的文本数，$df$是文本集合D的全部文本数。
由于自然语言单词具有一词多义性，多词一义性，所以基于单词向量的相似度计算存在不精确的问题。

2、LSA

单词-文本矩阵X可以近似的表示成单词-话题矩阵T与话题-文本矩阵Y的乘积形式。这就是潜在语义分析。
$$X=TY$$

2.1矩阵奇异值分解算法

①构建单词-文本矩阵X，这是一个m*n矩阵，表示单词在文本中出现的频数或权值。
②截断奇异值分解。根据确定的话题个数k对矩阵X进行截断奇异值分解，左矩阵作为话题空间向量，对角矩阵与右矩阵的乘积作为文本在话题向量空间的表示。
$$X=U_k{\Sigma }_k{V}_k^T=U_k({\Sigma }_k{V}_k^T)$$

2.2非负矩阵分解算法

对单词-文本矩阵进行非负矩阵分解，左矩阵作为话题向量空间，右矩阵作为文本在话题空间的表示。通常X为非负的。
$$X=WH$$
此为近似相等，所以非负矩阵分解是对原始数据的压缩。
算法：形式化为最优化问题求解。利用损失函数或者代价函数。
$$min||X-WH|{|}^2$$
约束条件$W,H>0$
利用乘法更新规则优化算法，交替地对W和H进行更新
**定理：**平方损失$||X-WH|{|}^2$对下列乘法更新规则
$$H_{lj}\leftarrow H_{lj}\frac{(W^{T}X{)}_{lj}}{(W^{T}WH{)}_{lj}}$$
$$W_{il}\leftarrow W_{il}\frac{(X{H}^T{)}_{lj}}{(WH{H}^T{)}_{lj}}$$
原理如下：求对W,H偏导，得出梯度下降更新规则，
$$W_{il}=W_{il}+{\lambda }_{il}[(X{H}^T{)}_{il}-(WH{H}^T{)}_{il}]$$
$$H_{lj}=H_{lj}+{\mu }_{lj}[(W^{T}X{)}_{lj}-(W^{T}WH{)}_{lj}]$$
步长取：
$${\lambda }_{il}=\frac{W_{il}}{(WH{H}^T{)}_{il}}$$
$${\mu }_{lj}=\frac{H_{lj}}{(W^{T}WH{)}_{lj}}$$
由此得出上面定理中乘法更新规则。