word2vec 2种训练模式

CBOW(Continuous Bag-of-Words Model)
Skip-gram(Continuous Skip-gram Model)

CBOW

通过上下文来预测当前值

输入 输入 ______ 输入 输入

Skip-gram

用当前词来预测上下文。
_____ _____ 输入 ____ ____

优化方法:

  1. Negative Sample(负采样)
  2. Hierachical Softmax

你可能感兴趣的:(word2vec 2种训练模式)