word2vec简单总结

一、Skip-Gram

Skip-Gram 模型假设中心词可以用来生成上下文词。

词表中的每个词都由两个 $d$ 维向量来表示，具体来说，对于索引为 $i$ 的词，我们分别用 ${\mathbf{v}}_i,{\mathbf{u}}_i$ 表示其用作中心词和上下文词的两个向量。

设词 $w_o$ 位于中心词 $w_c$ 的上下文窗口内，则

$$P(w_o|w_c)=\frac{\exp ({\mathbf{u}}_o^{\prime }{\mathbf{v}}_c)}{{\sum }_{i\in \mathcal{V}}\exp ({\mathbf{u}}_i^{\prime }{\mathbf{v}}_c)}$$

其中 $\mathcal{V}=\{0,1,\cdots ,|\mathcal{V}|-1\}$ 是词表的索引集。

设上下文窗口大小为 $m$，则 Skip-Gram 模型的似然函数为

$$\mathcal{L}=\prod _{t=1}^T\prod _{-m\le j\le m,j\ne 0}P(w_{t+j}|w_t)$$

最大化 $\mathcal{L}$ 等价于最小化 $-\log \mathcal{L}$，即

$$-\sum _{t=1}^T\sum _{-m\le j\le m,j\ne 0}\log P(w_{t+j}|w_t)$$

二、CBOW

与 Skip-Gram 相反，CBOW 模型假设上下文词可以用来生成中心词。

设上下文窗口大小为 $m$，则上下文词的数量为 $2m$。在计算条件概率时我们通常会对这些上下文词取平均，即

$$\overline{{\mathbf{v}}_o}=\frac{1}{2m}\sum _{1\le |i|\le m}{\mathbf{v}}_{c+i}$$

记 ${\mathcal{W}}_{o(c)}=\{{\mathbf{v}}_{c-m},\cdots ,{\mathbf{v}}_{c-1},{\mathbf{v}}_{c+1},\cdots ,{\mathbf{v}}_{c+m}\}$，则

$$P(w_c|{\mathcal{W}}_{o(c)})=\frac{\exp ({\mathbf{u}}_c^{\prime }\overline{{\mathbf{v}}_o})}{{\sum }_{i\in \mathcal{V}}\exp ({\mathbf{u}}_i^{\prime }\overline{{\mathbf{v}}_o})}$$

CBOW 模型的似然函数为

$$\mathcal{L}=\prod _{t=1}^{T}P(w_c|{\mathcal{W}}_{o(c)})$$

三、Gensim实现

相关文档：https://radimrehurek.com/gensim/models/word2vec.html

先导入接下来所需要用到的包：

from gensim.models import Word2Vec, KeyedVectors
from gensim.test.utils import common_texts
import gensim.downloader as api

---

我们可以使用 gensim 自带的 Word2Vec 来实现相关计算：

sentences = [['first', 'sentence'], ['second', 'sentence']]
# 词向量维度是5
# 出现次数低于1的单词会被丢弃
# 使用4个线程训练
model = Word2Vec(sentences=sentences, vector_size=5, min_count=1, workers=4)
word_vectors = model.wv
# 训练结束后可查看词向量
print(word_vectors['sentence'])
# [-0.01072454  0.00472863  0.10206699  0.18018547 -0.186059  ]

训练完成后，可以保存模型以便下次使用

model.save('word2vec.model')  # 保存模型
model = Word2Vec.load('word2vec.model')  # 读取模型

当然也可以保存训练好的词向量

word_vectors.save("word2vec.wordvectors")  # 保存词向量
word_vectors = KeyedVectors.load("word2vec.wordvectors", mmap='r')  # 读取词向量，r代表只读

我们还可以查看与某个单词最相似的几个单词

model = Word2Vec(sentences=common_texts, vector_size=5, min_count=1)
sims = model.wv.most_similar('computer', topn=3)
print(sims)
# [('minors', 0.4151746332645416), ('time', 0.18495501577854156), ('interface', 0.05030104145407677)]

使用现成的预训练模型：

word_vectors = api.load('glove-twitter-25')
print(word_vectors.most_similar('twitter', topn=10))
# [('facebook', 0.948005199432373), ('tweet', 0.9403423070907593), ('fb', 0.9342358708381653), ('instagram', 0.9104824066162109), ('chat', 0.8964965343475342), ('hashtag', 0.8885937333106995), ('tweets', 0.8878158330917358), ('tl', 0.8778461217880249), ('link', 0.877821147441864), ('internet', 0.8753896355628967)]