NLP词向量表示

NLP词向量表示_第1张图片
NLP词的表示方法类型

  • 词的独热表示 one-hot representation
    • 向量的维度会随着句子的词的数量类型增大而增大
    • 任意两个词之间都是孤立的,根本无法表示出在语义层面上词语词之间的相关信息,而这一点是致命的。
  • 词的分布式表示 distributed representation
    • 1954 Harris 分布假说 distributional hypothesis
      • 选择一种方式描述上下文
      • 选择一种模型刻画某个词(下文称“目标词”)与其上下文之间的关系。
    • 基于矩阵的分布表示
      • 分布语义模型
      • GloVe
    • 基于聚类的分布表示
    • 基于神经网络的分布表示
      • 词嵌入 word embedding

参考

  • https://www.infoq.cn/article/66vicQt*GTIFy33B4mu9

你可能感兴趣的:(#,搜索与NLP,自然语言处理,聚类,人工智能)