Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导

该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述,增加了代码与公式的对照和公式总汇(公式太多,汇总下看起来更方便),可以更加方便的加深对代码和公式理解。既然是总结,则一些很基础的知识我没有写到,如果里面的有些概念不熟悉,也可以自己查一下,网上资料还是很多的。

本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充,目的是加深自己的理解和认识。
1、概述
Word2vec 是 Google 在 2013 年开源的一款将词表征为实数值向量的高效工具。Word2vec 使用的是 Distributed representation 的词向量表示方式。
Word2Vec原理主要用到的知识点有:Sigmoid函数,Bayes公式和Huffman编码等。

Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第1张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第2张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第3张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第4张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第5张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第6张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第7张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第8张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第9张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第10张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第11张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第12张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第13张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第14张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第15张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第16张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第17张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第18张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第19张图片
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导_第20张图片
这里写图片描述

你可能感兴趣的:(机器学习与神经网络推理)