【nlp】1.2文本张量表示方法(词向量word2seq和词嵌入Word Embedding)

文本张量的表示方法

  • 1 one-hot词向量表示
    • 1.1 实操演示
    • 1.2 one-hot编码使用
    • 1.3 one-hot编码的优劣势
  • 2 word2vec模型
    • 2.1 模型介绍
    • 2.2 word2dev的训练和使用
      • 2.2.1 数据集的下载与预处理
      • 2.2.2 词向量的训练
      • 2.2.3 查询单词对应的词向量
      • 2.2.4 模型效果检验
      • 2.2.5 网络超参数设定
  • 3 词嵌入Word embedding

将一段文本使用张量进行表示,其中一般将词汇表示成向量,称作词向量,再由各个词向量按顺序组成矩阵形成文本表示。作用:方便输入到计算机中

举个例子:

["人生”,“该”,"如何",“起头"]

==>

#每个词对应矩阵中的

你可能感兴趣的:(NLP自然语言处理,自然语言处理,word,embedding,tensorboard)