基于negative sampling(负采样)的CBOW模型、skip-gram模型

一、基于negative sampling的CBOW模型
(一)基于negative sampling的CBOW模型与基于hierarchical softmax的CBOW模型不同:

  • 基于negative sampling的模型采用随机负采样法计算概率,计算的是除词语w外的其他负采样词语的条件概率P(u|Context(w))相乘。
  • 基于hierarchical softmax的模型采用huffman树的二分类法计算概率,计算的是词语w的条件概率P(w|Context(w)),该条件概率等于huffman树多次二分类的概率相乘。

(二)基于negative sampling的CBOW模型
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第1张图片
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第2张图片
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第3张图片
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第4张图片
二、基于negative sampling的skip-gram模型
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第5张图片
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第6张图片
基于negative sampling(负采样)的CBOW模型、skip-gram模型_第7张图片

你可能感兴趣的:(深度学习,自然语言处理,概率论)