Glove词向量

无论是基于神经网络语言模型还是Word2vec的词向量预训练方法，本质上都是利用文本中词与词在局部上下文的共现信息作为自监督学习信号。与这种方法不同的是，另一类用于获得词向量的方法是基于矩阵分解的方法，例如潜在语义分析。这种方法首先对语料进行统计分析，并获得含有全局统计信息的“词-上下文”共现矩阵，然后在利用奇异值分解的方法对该矩阵进行降维，进而得到词的低维表示。然而，传统的矩阵分解方法得到的词向量不具有很好的几何特征，所以，PJ 就提出结合词向量以及矩阵分解的方法思想，提出了Glove。