NLP自然语言处理学习笔记（二）Word2Vec

本文是根据吴恩达教授的教学视频来整理的学习笔记，部分图片来源于视频的截图。原教学视频连接 https://mooc.study.163.com/learn/2001280005?tid=2001391038#/learn/content

一、Word2Vec

Word2Vec是词嵌入的一种算法。分为Skip-grams和CBOW两种。Skip-grams是给定中心词来预测上下文，CBOW是给定上下文来预测中心词。

下图中，以Orange为中心词，来预测上下文。

训练过程如下图：

Skip-grams算法的缺点主要是运行速度太慢。

改善方式一：softmax层需要对10000个样本求和，速度慢。因此使用分级softmax的算法，构建一课分类树，先判断预测出来的词是位于词汇表的前5000还是后5000，然后再继续做更细的分类。在实际使用中，这棵树通常可能不是对称的，将频繁出现的词放在贴近树根部的位置，将出现频率较低的词放到离树根部较远的位置。

改善方式二：负采样，下一小节将介绍。

二、负采样

正样本的分类结果是1，负样本的分类结果是0。

训练模型：
模型的输出是10000个softmax分类器，每次迭代选择1个正样本和k个负样本，来对参数进行更新。

如何选择负采样的样本？
如果按频率选择，会出现很多the, and, a, an这样的高频词，造成干扰。
如果完全均匀地选择，不考虑频率，效果又不太好。
因此有研究者建议，按频率的3/4次方来采样，可以取得比较好的效果。