自然语言处理(六)词向量

目的:把文本用数据的形式表达出来
方法:传统基于规则,现代基于统计

一、词编码方式1——离散表示

1、One-hot编码
和句子中顺序无关,耗空间耗时

2、词袋模型
每个数表示该词出现的次数(One-hot的加和)

3、TF_IDF
每个数代表该词在整个文档中的占比

4、N-gram
相邻N个词作为一组进行编码,缺点是浪费空间、无法衡量词之间的关系

二、词编码方式2——分布式表示

所谓分布式表示,就是将“红色小型汽车”变成“红色+小型+汽车”

于是产生了现代统计自然语言处理中最有创见的想法之一:用一个词附近的其他词来表示该词。

一开始用“共现矩阵”表示,后来发现它有耗空间过大、稀疏等问题,因此需要找到方法构造低维稠密向量作为词的分布式表示 (25~1000维)!

一开始有用SVD分解的方法,后来发现它与其他深度学习模型框架差异大

又有了NNLM方法如下图所示:(七月算法自然语言处理课程PPT)
自然语言处理(六)词向量_第1张图片

自然语言处理(六)词向量_第2张图片

这个模型复杂度较高。于是有了现在最常用的word2vec模型。

三、Work2Vec

1、CBOW

待续

2、Skip-Gram

待续

当语料特别大时,多用Skip-Gram

-》Word2Vec对多义词表示的并不好,因此有了改进版本GloVe,但用的不多。

-》还有sense2vec模型,它是将词性和word2vec结合的技术。

-》seq2seq 待续

你可能感兴趣的:(自然语言处理)