【NLP入门教程】十三、Word2Vec保姆教程

Word2Vec

概述

Word2Vec是一种广泛使用的词嵌入技术，它能够将单词表示为连续向量，将语义上相似的词映射到相近的向量空间。Word2Vec模型是由Tomas Mikolov等人于2013年提出的，它基于分布式假设，即上下文相似的单词具有相似的含义。

Word2Vec模型有两个主要的实现算法：连续词袋模型（Continuous Bag of Words，简称CBOW）和Skip-gram。CBOW模型试图从上下文预测目标词，而Skip-gram模型则相反，它从目标词预测上下文。这两种模型都使用了神经网络来学习词向量。

原理

CBOW模型

CBOW模型的核心思想是从上下文词汇预测目标词汇。具体步骤如下：

1. 构建训练数据：将文本数据转化为一对上下文-目标词汇的形式，上下文是目标词汇的周围词汇。
2. 创建神经网络：CBOW模型的神经网络有一个隐藏层，隐藏层的神经元数目称为嵌入维度。输入层的大小等于上下文词汇的个数乘以嵌入维度，输出层的大小等于词汇表的大小。
3. 训练模型：使用训练数据来训练神经网络，通过最小化预测词汇与目标词汇之间的差异来调整模型的参数。
4. 提取词向量：训练完成后，隐藏层的权重就是词向量。

Skip-gram模型

Skip-gram模型的思想与CBOW相反，它从目标词汇预测上下文。具体步骤如下：

1. 构建训练数据：将文本数据转化为一对目标词汇-上下文词汇的形式，目标词汇是中心词汇