GloVe使用心得

GloVe是斯坦福大学提出的一种新的词矩阵生成的方法，综合运用词的全局统计信息和局部统计信息来生成语言模型和词的向量化表示。官方主页：http://nlp.stanford.edu/projects/glove/，本文将作者发表的文章和代码打包一并上传，供大家下载学习。

这里主要介绍一下在Ubuntu环境下的使用方法。

首先，将下载的GloVe-1.2压缩文件解压到任意目录下，然后打开终端，定位到GloVe-1.2目录下，输入make命令（确保安装了gcc），将生成了一个built的文件夹

然后，将需要处理的文本数据拷贝到该目录下（方便后续处理），将名字改为corpus.txt（可以不改，但是改了之后便于后续的操作）。

接着，在终端中依次运行vocab_count、cooccur、shuffle和glove（运行方法是输入  ./ 加相应文件名）。建议先输入不带参数的程序，程序将会给出 Example usage，然后按照格式输入相应的参数，建议名字与Example usage中一致，保证后续命令的正确性（这也是建议改名的原因）。

需要注意的是，在运行glove时，对内存要求比较高，1.4G的语料，20G的内存都无法运行，一直死机；后面降到300M的语料，20G的内存基本上能够运行。而gensim中的word2vec，对于1.4G的语料，20G完全可以运行，而且只需要几个小时就能跑出结果。