【面试】word2vec中负采样原理及作用

1. 什么是负采样?

    负采样(negative sampling)是与正采用相反的含义。

    【面试】word2vec中负采样原理及作用_第1张图片

2. 为什么采用负采样?

1)将多分类问题转换成K+1个二分类问题,从而减少计算量,加快训练速度。

2)保证模型训练效果,因为目标词只跟相近的词有关,没有必要使用全部的单词作为负例来更新它们的权重。

 

3. 补充

负采样的概率分布在tensorflow中实现的是:

其中s(w_i))是词w_i在字典中根据词频逆排序的序号.

你可能感兴趣的:(面试,NLP)