工智能基础知识总结--词嵌入之GloVe

  1. 什么是GloVe

    GloVe(Global Vectors for Word Representation)是一个基于全局词频统计(count-based & overall statistics)的词表征(word representation)工具,它可以把一个单词表达成一个由实数组成的向量,这些向量捕捉到了单词之间一些语义特性,比如相似性(similarity)、类比性(analogy)等。我们通过对向量的运算,比如欧几里得距离或者cosine相似度,可以计算出两个单词之间的语义相似性。

  2. GloVe实现步骤

    • 构建共现矩阵

      统计词与词在固定窗口大小内共同出现的次数并构建一个共现矩阵。例如有以下三句话:

      • I like deep learning.
      • I like NLP.
      • I enjoy flying

      当窗口大小为2时,构造的共现矩阵为:

      工智能基础知识总结--词嵌入之GloVe_第1张图片

    • 词向量与共现矩阵的关系

      设共现矩阵为X,其第i行第j个元素为 X

你可能感兴趣的:(机器学习专栏,深度学习专栏,人工智能学习专栏,人工智能,深度学习,机器学习)