GloVe模型训练

GloVe全称是Global Vectors，原文在这里，是2014年提出的模型。下面先对模型做一个大致的解释，然后讨论训练方法。有不当之处请指正。

两类学习词向量的家族：
1 全局矩阵分解方法：像LSA(latent semantic analysis)，有效的利用语料库的统计信息，但是在单词类比任务上做的较差。
2 局部上下文窗口方法：像skip-gram模型，在类比任务上表现较好，但是没有利用语料库的统计信息。

模型有效地利用了统计信息，它对共现矩阵中的非零元素进行训练，而不是对整个稀疏矩阵或大型语料库中的单个上下文窗口进行训练。在一次单词类比任务中，表现为75%。在相似度任务和命名实体识别方面，它也优于相关模型。

根据原文的推导，最后的损失函数为
$$J=\sum _{i,j=1}^{V}f\left(X_{ij}\right){\left(w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_j-\log X_{ij}\right)}^2$$
其中，$X\in R^{|V|\times |V|}$为共现矩阵，$X_{ij}$表示单词$wor{d}_j$出现在单词$wor{d}_i$的上下文中的次数，$|V|$是语料库的大小，$w\in R^d$是词向量，$\tilde{w}\in R^d$是上下文词向量，$b_i,{\tilde{b}}_j$是偏置，$f$为权重函数。

原文中$$f(x)=\{\begin{array}{cc}{\left(x/x_{\max }\right)}^{\alpha }& \text{ if }x<x_{\max }\\ 1& \text{ otherwise }\end{array}$$
其中$x_{max}=100,\alpha =0.75$

训练

1. 构建共现矩阵，这个应该不难构建出来。
2. 设定单词的维度$dim$，随机初始化矩阵$W\in R^{|V|\times dim}$,$C\in R^{|V|\times dim}$，向量$b_w\in R^{|V|},b_c\in R^{|V|}$.
3. 根据损失函数的形式构建计算图

 self.model = tf.tensordot(self.W, tf.transpose(self.C), axes=1) + \
                     tf.tensordot(self.bw, tf.transpose(self.ones), axes=1) + \
                     tf.tensordot(self.ones, tf.transpose(self.bc), axes=1)

4. 计算权重矩阵$f(X_{ij})$以及矩阵log$X_{ij}$，程序中以自然底数$e$为底。
5. 计算损失函数，此处程序将损失函数乘了0.5
6. 采用Adagrad优化参数$W,C,b_w,b_c$
7. 返回矩阵$W+C$，这个地方不明白为什么两个矩阵相加。

[1] Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation. in: Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014, 1532-1543.
[2] https://github.com/roamanalytics/mittens