词向量与词表示

推荐阅读文本:https://blog.csdn.net/u010417185/article/details/80647931

再继续讲Word2Vec:

  1. 遍历整个语料库,
  2. 预测中心词周围出现的概率
  3. 带入损失函数。
  4. 算法不断迭代更新参数值。

我们希望得到的模型能够使得所有的词语出现在文本中的概率最高。

实际参数的大小会非常大。(两个语料库向量表示:2dV)

词向量与词表示_第1张图片

我们把语料设置窗口将文本循环迭代一遍,我们会发现参数会非常多。

词向量与词表示_第2张图片

解决方法:

需要用稀疏矩阵更新特定的行,在U、V里面。hash的方法

为什么初始需要两个向量,早期优化方便,最后的时候会将两个矩阵平均。

常见方法

Skip-grams(SG)

词向量与词表示_第3张图片

continuous bag of words(CBOW)

加速训练的方法:

Negative sampling:

我们可以看到上面的两个权重矩阵非常庞大,如果每次更新权重的话,更新量会非常复杂。

能不能每个训练样本的训练只会更新一小部分的模型权重,从而降低计算负担。

怎么来选择我们要更新的负权重文本呢?

这个概率的实现公式。每个单词被选为“negative words”的概率计算公式与其出现的频次有关。

词向量与词表示_第4张图片

Skip-garm+negative sampling优化目标函数。

第一部分:最大化o词出现的概率,第二部分:最小化语料库中的其他词出现的概率。

上面提到的方法,我们很多时候只是抓取一个词的,能不能使用多个词呢?

基于共现矩阵co-occurrence matrix X,全部文本的做不太实际,文本量太大了。

我们既有window窗口来做。(设定一定长度窗口,计数)

词向量与词表示_第5张图片

  1. 这样做的缺点。增加了词典的量级;需要更多存储和计算量,
  2. 后续分类问题,存在稀疏性的问题。

我们需要更低维度的向量:SVD分解。

词向量与词表示_第6张图片

词向量与词表示_第7张图片

词向量与词表示_第8张图片

对于X矩阵的一些技巧。

对于经常出现的词,has,the,之类。设置一个上限或直接忽略他。

利用相关系数代替简单的技术。将负值设定为0.

向距离更近的词倾斜。

 

你可能感兴趣的:(自然语言处理CS)