GloVe 词向量

GloVe（Global Vectors for Word Representation）它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具。

Glove 实现

image.png

image.png

image.png

Glove与LSA、word2vec的比较

• LSA 采用了基于奇异值分解（SVD）的矩阵分解技术对大矩阵进行降维，SVD 的复杂度很高，所以计算代价较大；它对所有单词的统计权重都是一致的。而这些缺点在GloVe中被一一克服了
• word2vec 最大的缺点则是没有充分利用所有的语料
• GloVe 集合了两者的优点。

参考链接

https://www.fanyeong.com/2018/02/19/glove-in-detail/