自然语言处理-词向量模型-Word2Vec

自然语言处理-词向量模型-Word2Vec_第1张图片

通常数据的维度越高,能提供的信息也就越多,从而计算结果的可靠性就更值得信赖

自然语言处理-词向量模型-Word2Vec_第2张图片

如何来描述语言的特征呢,通常都在词的层面上构建特征,Word2Vec就是要把词转换成向量

假设现在已经拿到一份训练好的词向量,其中每一个词都表示为50维的向量

如果在热度图中显示,结果如下

在结果中可以发现,相似的词在特征表达中比较相似,也就是说词的特征是有意义的!

自然语言处理-词向量模型-Word2Vec_第3张图片

在词向量模型中,输入和输出分别是什么?

自然语言处理-词向量模型-Word2Vec_第4张图片

自然语言处理-词向量模型-Word2Vec_第5张图片

自然语言处理-词向量模型-Word2Vec_第6张图片

数据从哪来?

自然语言处理-词向量模型-Word2Vec_第7张图片

构建训练数据

自然语言处理-词向量模型-Word2Vec_第8张图片

不同模型对比

自然语言处理-词向量模型-Word2Vec_第9张图片

自然语言处理-词向量模型-Word2Vec_第10张图片

自然语言处理-词向量模型-Word2Vec_第11张图片

CBOW模型

自然语言处理-词向量模型-Word2Vec_第12张图片

Skip-gram模型

Skip-gram模型所需训练数据集

自然语言处理-词向量模型-Word2Vec_第13张图片

自然语言处理-词向量模型-Word2Vec_第14张图片

如何进行训练?

自然语言处理-词向量模型-Word2Vec_第15张图片

如果一个语料库稍微大一些,可能的结果简直太多了,最后一层相当于softmax,计算起来十分耗时,有什么别的方法吗?

初始方案:输入两个单词,看他们是不是前后对应的输入输出,也就相当于一个二分类任务

自然语言处理-词向量模型-Word2Vec_第16张图片

出发点非常好,但是此时训练集构建出来的标签全为1,无法进行较好的训练

自然语言处理-词向量模型-Word2Vec_第17张图片

改进方案。加入一些负样本(负采样模型)

自然语言处理-词向量模型-Word2Vec_第18张图片

自然语言处理-词向量模型-Word2Vec_第19张图片

词向量训练过程

初始化词向量矩阵

自然语言处理-词向量模型-Word2Vec_第20张图片

自然语言处理-词向量模型-Word2Vec_第21张图片

通过神经网络反向传播来计算更新,此时不光更新权重参数,还更新输入数据

自然语言处理-词向量模型-Word2Vec_第22张图片

你可能感兴趣的:(自然语言处理,word2vec,人工智能)