探秘Word2Vec(一)-预备知识

2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。那么Word2Vec究竟是什么，为什么能够达到如此好的效果，这一次的文章，我想自己探秘一下Word2Vec背后的究竟。
首先，我们来介绍一下一些预备知识。

1、Sigmoid函数

相信大家对于这个函数都不陌生，它是常见的激活函数，同时在逻辑回归中也有涉及，它的形式如下：

它的函数图像如下图所示：

sigmoid函数有一些重要的性质，比如它的导数如下：

并且容易得到以下的两个导数：

推导过程如下：

2、逻辑回归

有关逻辑回归的帖子，欢迎参考我之前的一篇文章：
http://www.jianshu.com/p/949338f6a1dc

3、Bayes公式

贝叶斯公式是贝叶斯提出的，用来描述两个条件概率之间的关系，我们知道条件概率公式如下：

进一步可得：

上面的式子就是贝叶斯公式

4、Huffman编码

4-1 Huffman树

树是一种重要的非线性数据结构，它是数据元素（树中称为节点）按分支关系组织起来的结构，若干棵互不相交的树所构成的集合称为森林，树中有几个重要的概念，在这里做一下简单的介绍：
路径和路径长度：在一棵树中，从一个结点往下可以达到的孩子或孙子节点之间的通路，称为路径，通路中的分支的数目称为路径长度，若规定根结点的层号是1，则从根结点到第L层结点的路径长度为L-1.
结点的权和带权路径长度：若为树中的结点赋予了一个具有某种含义的数值，这个数值称为结点的权，结点的带权路径长度是指，从根结点到该结点之间的路径长度与该结点权的乘积。
树的带权路径长度：树的带权路径长度规定为所有叶子结点的带权路径长度之和。
二叉树：二叉树是每个结点最多有两个子树的有序树，这里的有序指的是两个子树有左右之分，顺序不能颠倒，这两个子树通常称为左子树和右子树。
Huffman树：给定n个权值和n个叶子结点，构造一棵二叉树，若它的带权路径长度之和达到最小，则这样的二叉树为最优二叉树，也称为Huffman树。

4-2Huffman树的构造

给定n个权值和n个结点，一颗Huffman树的构造过程如下：

下面给出一个例子让大家体会一下Huffman树的构造过程：
假设2014年世界杯期间，从新浪微博抓去了若干条与足球相关的微博，经统计：“我”，“喜欢”，“观看”，“巴西”，“足球”，“世界杯”这六个词出现的次数分别为15，8，6，5，3，1，如果以这六个词为叶子结点，以相应的词频作为权重，构造一棵Huffman树：

通过上面的构造过程可以发现，词频越大的点，它出现的位置越接近于根结点。
有两个需要注意的地方：

构造过程中，通过合并新增的结点被标记为黄寺，由于每两个结点都进行了一次合并，因此，若叶子结点的个数为n，则构造的Huffman树中新增结点个数为n-1，本例中n=6，所以新增结点个数为5。
前面提到过，二叉树的两个子树是分左右的，对于某个非叶子结点来说，就是其两个孩子结点是分左右的，在上面的例子中，统一将词频大的作为左结点，词频小的作为右结点，当然，这里只是一个约定，也可以将词频大的结点作为右孩子结点。

4-3Huffman编码

在数据通信中，需要将传送的文字转换成二进制的字符串，用0，1码的不同排列来表示字符，例如，需要传送的报文是“AFTER DATA EAR ARE ART AREA”，这里用到的字符集为“A，E，R，T，F，D”，各个字母出现的次数唔诶8，4，5，3，1，1.现在要求为这些字母设计编码。
等长编码是一种可行额措施，比如固定采用3位二进制进行编码，然后对方街道报文时再进行解码即可，不过当报文中出现的字符数量过多时，等长编码的长度就会不断增加，如果我们希望报文尽可能短，这一方法就不再适用。在实际应用中，各个字符的出现频度活着说是使用次数是不同的，如A，B，C的使用频率远远大于X，Y，Z，自然会想到设计编码时，让使用频率高的字符用短码，使用频率低的用长码，以优化整个报文编码。
为使不等长编码为前缀编码（即要求一个字符的编码不能是另一个字符编码的前缀），可以用字符集中的每个字符作为叶子结点，同时将字符出现的频率作为权重，生成一个Huffman树。Huffman树生成的编码称为Huffman编码，这样的编码方式既满足前缀编码的条件，同时能保证报文编码总长度最小。
还是使用我们之前使用过的世界杯的例子，最终生成的树如下图：

因此，“我”，“喜欢”，“观看”，“巴西”，“足球”，“世界杯”这六个词的Huffman编码分别为0，111，110，101，1101，1000.