NLP的Glove模型

Glove模型

Glove是NLP中和Word2Vec并列的一个词向量模型，它来自斯坦福的一篇论文，GloVe全称应该是 Global Vectors for Word Representation

 

GloVe模型是一种词向量分布表示模型，是一种无监督学习算法。总体上看，GloVe模型是一种对“词-词”矩阵进行分解从而得到词表示的方法

 

Glove模型是基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型对词汇进行向量化表示

 

共现矩阵

 

 

Glove 和 word2vec

两者最直观的区别在于，word2vec是 "predictive" 的模型，而GloVe是 "count-based" 的模型。

Glove 和 word2vec 从算法实现的角度来说，它们区别在于loss的计算是不同的。

 

skip-gram、CBOW每次都是用一个窗口中的信息更新出词向量，但是Glove则是用了全局的信息（共线矩阵），也就是多个窗口进行更新

 

word2vec——局部

Glove——全局

 

 

https://www.cnblogs.com/Lee-yl/p/11172255.html