word2vec实现与哈夫曼树

word2vec实现与哈夫曼树_第1张图片
定义
word2vec实现与哈夫曼树_第2张图片
算法
word2vec实现与哈夫曼树_第3张图片
例子

作用: 用在word2vec的实现中,
法一:是基于Huffman编码实现
  就是神经网络的第三层(CBOW、skip-gram模型),它把训练语料中的词当成叶子节点,词在语料中出现的次数当作权值,通过构建相应的huffman树来对每一个词进行Huffman编码。这是一个比较老旧的方法。

word2vec实现与哈夫曼树_第4张图片
word2vec例子
两个约定

法2:负采样

你可能感兴趣的:(word2vec实现与哈夫曼树)