深度学习NLP笔记（三）：GloVe模型

GolVe模型使用了词与词的共现信息。定义X为共现矩阵，则x_ij为词j出现在词i环境中的次数。令$x_i={\sum }_k{x}_{ik}$为任意词出现在词i环境中的次数，则：
$$P(ij)=P(j|i)=\frac{x_{ij}}{x_i}$$
　　P(ij)为词j出现在词i环境中的概率，也成为词i和词j的共现概率。
　　例如，对于语料：

• I like deep learning.
• I like NLP.
• I enjoy flying.
  可以得到共现矩阵：
  
  可以得到$P{(}^{\prime }{I}^{\prime }{,}^{\prime }lik{e}^{\prime })=\frac{2}{3}$
  那么共现概率到底有什么用呢？举一个例子。

wk	“solid”	“gas”	“water”
$p_1=P(w_k\mid "ice")$	0.00019	0.000066	0.003
$p_2=P(w_k\mid "steam")$	0.000022	0.00078	0.0022
$p_1/p_2$	8.9	0.085	1.36

从直观上我们知道，“solid”和"ice"很接近，但是和"steam"相差很远，因此$P(“solid”\mid "ice")$应该较大，而$P(“solid”\mid "steam")$应该较小，进而$P(“solid”\mid "ice")/P(“solid”\mid "steam")$也就应该较大；“gas”和“ice”相差较远，而与“steam”比较接近，所以$P(“gas”\mid "ice")/P(“gas”\mid "steam")$应该较小；“water”和“ice”、“steam”都比较接近，则$P(“water”\mid "ice")/P(“water”\mid "steam")$应该接近1。
　　我们希望找到一个函数可以很好地表示以w_i为中心词，三个词之间的关系，也就是：$$f(u_j,u_k,v_i)\approx \frac{p_{ij}}{p_{ik}}$$
　　概率之间的比值是一个标量，所以我们可以将$f$限制为一个标量函数：$f(u_j,u_k,v_i)=f((u_j-u_k{)}^T{v}_i)$。交换索引函数$f$应该满足$f(x)f(-x)=1$,所以一个可能是$f(x)=exp(x)$。于是，$$f(u_j,u_k,v_i)=\frac{exp(u_j^T{v}_i)}{exp(u_k^T{v}_i)}\approx \frac{p_{ij}}{p_{ik}}$$
　　也就是说，我们想要得到$$exp(u_k^T{v}_i)=p_{ik}=\frac{x_{ik}}{x_i}$$
　　对于这个式子，两边取对数，可以得到$$u_k^T{v}_i=log(x_{ik})-log(x_i)$$
　　这里有一个问题，按照我们的理解$p_{ik}$应该和$p_{ki}$相等，但是$$u_i^T{v}_k=log(x_{ik})-log(x_k)$$
　　由于后面的一项，两者并不相等，所以需要对后面的项进行处理。我们用一个偏移向量$(b_i+b_k)$替代后面的项，得到$$u_k^T{v}_i=log(x_{ik})-(b_i+b_k)$$
　　将偏移向量移到左边，得到
　　$$u_k^T{v}_i+(b_i+b_k)=log(x_{ik})$$
　　我们发现，最终我们得到的是用词向量表达了共现词频。我们希望左边和右边越接近越好，那么我们就可以根据这个式子来定义我们的损失函数：$$\sum _{i,j=1}^{V}h(x_{ij})(u_k^T{v}_i+(b_i+b_k)-log(x_{ik}){)}^2$$
　　$h(x_{ij})$是权重函数，它与共现词频有关。