轻松入门自然语言处理系列 专题4 词向量的使用及评估

文章目录

  • 前言
  • 一、GloVe向量的使用
  • 二、词向量可视化
    • 1.构建词组
    • 2.PCA降维
    • 3.TSNE降维
  • 三、使用预训练语言模型生成句子向量
  • 总结

前言

本文主要介绍了词向量的使用及评估,包含GloVe向量的使用、词向量可视化和使用预训练语言模型生成句子向量。

一、GloVe向量的使用

常用的词向量包括Word2Vec、GloVe等,GloVe是斯坦福大学NLP组提出的预训练词向量模型,使用简单方便,被经常用于NLP任务的初始化Embedding,官方链接https://nlp.stanford.edu/projects/glove/。使用时可以选择开源提供的词向量文件。其中gensim库提供了很多词向量的API,可以直接调用。

因为gensim库只支持word2vec格式的预训练模型格式,因此需要使用gensim库自带的API将glove模型转化为其方便加载的格式:

你可能感兴趣的:(轻松入门自然语言处理系列,自然语言处理,词向量,GloVe,Transformers,词向量可视化)