基于Hierarchical softmax的word2vec
基于Hierarchical softmax的word2vec
1. CBOW模型: Continuous Bag-of-Words
三层结构：输入层、投影层、输出层
输入层：关于某个词 w w w的上下文相关的词向量，设有2c个，记为
V ( C o n t e x t ( w ) 1 ) , V ( C o n t e x t ( w ) 2 ) , … , V ( C o n t e x t ( w ) 2 c ) V(Context(w)_1), V(Context(w)_2), \dots,V(Context(w)_{2c}) V(Context(w)1),V(Context(w)2),…,V(Context(w)2c)(初始时，先设值，之后通过梯度算法更新)
投影层：2c个向量累加求和： X w = ∑ 1 2 c V ( C o n t e x t ( w ) i ) X_w = \sum_1^{2c} V(Context(w)_i) Xw=∑12cV(Context(w)i)
输出层：一颗哈夫曼树，叶节点为语料中的所有不重复的词的词向量
目标：给定与某个词上下文相关的词向量，使经过softmax输出后，输出结果中该词所占的比例最大。
先通过一个简单的1哈夫曼树来举例：
如图所示：分类标准为左1右0
选择图中字符标志的路径，求最终叶子节点为 d 4 d_4 d4（左叶子节点）的概率( d j d_j dj为节点的编码:0或1)。
图中共进行了三次分类：
P ( d 2 ∣ X w , θ 1 ) = 1 − σ ( X w T ⋅ θ 1 ) P(d2|X_w,\theta_1) = 1 - \sigma(X_w^T\cdot \theta_1) P(d2∣Xw,θ1)=1−σ(XwT⋅θ1)
P ( d 3 ∣ X w , θ 2 ) = σ ( X w T ⋅ θ 2 ) P(d3|X_w,\theta_2) = \sigma(X_w^T\cdot \theta_2) P(d3∣Xw,θ2)=σ(XwT⋅θ2)
P ( d 4 ∣ X w , θ 3 ) = 1 − σ ( X w T ⋅ θ 3 ) P(d4|X_w,\theta_3) = 1 - \sigma(X_w^T\cdot \theta_3) P(d4∣Xw,θ3)=1−σ(XwT⋅θ3)
公式的含义是：在给定输入为 X w X_w Xw的条件下，到达所想要到达的节点的概率。
θ j 代 表 参 数 \theta_j代表参数 θj代表参数*(就相当于平时的 X T W X^TW XTW中的W)。对应到树中的节点，就是每个非叶节点的向量。对应的 θ \theta θ总是在d的上一层，所以下标为j-1.
则到达 d 4 d_4 d4(即给定上下文得到 w w w)的概率为 P ( w ∣ X w ) = ∏ j = 2 4 P ( d j ∣ X w , θ j − 1 ) P(w|X_w) = \prod_{j=2}^4 P(d_j|X_w,\theta_{j-1}) P(w∣Xw)=∏j=24P(dj∣Xw,θj−1)
将该式一般化,则 P ( w ∣ C o n t e x t ( w ) ) = ∏ j = 2 N P ( d j ∣ X w , θ j − 1 ) P(w|Context(w)) = \prod_{j=2}^N P(d_j|X_w,\theta_{j-1}) P(w∣Context(w))=∏j=2NP(dj∣Xw,θj−1)
(其中N为根节点到叶节点长度)
P ( d j ∣ X w , θ j − 1 ) = { σ ( X w T θ j − 1 w ) , d j w = 0 1 − σ ( X w T θ j − 1 w ) , d j w = 1 P(d_j|X_w,\theta_{j-1}) = \begin{cases} \sigma(X_w^T \theta_{j-1}^w), & d_j^w =0\\ 1 - \sigma(X_w^T \theta_{j-1}^w), & d_j^w =1 \end{cases} P(dj∣Xw,θj−1)={ σ(XwTθj−1w),1−σ(XwTθj−1w),djw=0djw=1
word2vec的目标是对词典中的所有词(即哈夫曼树的所有叶子节点代表的词)，将得到它们的概率求和，通过梯度上升法调整参数，使得最终该概率和最大，记为 L L L
L = ∑ w ∈ C P ( w ∣ C o n t e x t ( w ) ) = ∑ ∏ j = 2 N P ( d j w ∣ X w , θ j − 1 w ) = ∑ ∏ σ ( X w T θ j − 1 w ) ( 1 − d j w ) ( 1 − σ ( X w T θ j − 1 w ) ( d j w ) ) L = \sum_{w \in C} P(w|Context(w)) =\sum \prod_{j=2}^N P(d_j^w|X_w,\theta_{j-1}^w) \\ = \sum \prod \sigma(X_w^T \theta_{j-1}^w)^{(1-d_j^w)}(1-\sigma(X_w^T \theta_{j-1}^w)^{(d_j^w)}) L=w∈C∑P(w∣Context(w))=∑j=2∏NP(djw∣Xw,θj−1w)=∑∏σ(XwTθj−1w)(1−djw)(1−σ(XwTθj−1w)(djw))
(这里 d j d_j dj和 θ j \theta_j θj都加了上标w，因为w不止一个了，而 d j d_j dj和 θ j \theta_j θj是和w相关联的)
( C C C代表语料库中的所有单词，包括重复的)
取对数，仍记为 L L L
则 L = ∑ w ∈ C ∑ j = 2 N ( ( 1 − d j w ) l o g ( σ ( X w T θ j − 1 w ) ) + ( d j w ) l o g ( 1 − σ ( X w T θ j − 1 w ) ) ) L = \sum_{w \in C} \sum_{j=2}^{N}((1-d^w_j)log(\sigma(X_w^T \theta_{j-1}^w))+(d_j^w)log(1-\sigma(X_w^T \theta_{j-1}^w)) \ ) L=w∈C∑j=2∑N((1−djw)log(σ(XwTθj−1w))+(djw)log(1−σ(XwTθj−1w)) )
对 L L L求偏导：
∂ L ∂ X w = ( 1 − σ ( X w T θ j − 1 w ) − d j w ) θ j − 1 w \frac{\partial L}{\partial X_w} = (1-\sigma(X_w^T \theta_{j-1}^w)-d_j^w)\theta_{j-1}^w ∂Xw∂L=(1−σ(XwTθj−1w)−djw)θj−1w
∂ L ∂ θ j − 1 w = ∑ j = 2 N ( 1 − σ ( X w T θ j − 1 w ) − d j w ) X w \frac{\partial L}{\partial \theta_{j-1}^w} = \sum_{j=2}^N(1-\sigma(X_w^T \theta_{j-1}^w)-d_j^w)X_w ∂θj−1w∂L=j=2∑N(1−σ(XwTθj−1w)−djw)Xw
则:
θ j − 1 w = θ j − 1 w + η ( 1 − σ ( X w T θ j − 1 w ) − d j w ) X w \theta_{j-1}^w = \theta_{j-1}^w + \eta (1-\sigma(X_w^T \theta_{j-1}^w)-d_j^w)X_w θj−1w=θj−1w+η(1−σ(XwTθj−1w)−djw)Xw
但是，不能写： X w = X w + η ( 1 − σ ( X w T θ j − 1 w ) − d j w ) θ j − 1 w X_w = X_w + \eta (1-\sigma(X_w^T \theta_{j-1}^w)-d_j^w)\theta_{j-1}^w Xw=Xw+η(1−σ(XwTθj−1w)−djw)θj−1w，因为最终要求的是单个词的向量 V ( w ^ ) ∈ C o n t e x t ( w ) V(\hat{w}) \in Context(w) V(w^)∈Context(w),应该按如下公式：
V w ^ = V w ^ + η ∑ j = 2 N ( 1 − σ ( X w T θ j − 1 w ) − d j w ) θ j − 1 w V_{\hat{w}} = V_{\hat{w}} + \eta \sum_{j=2}^N(1-\sigma(X_w^T \theta_{j-1}^w)-d_j^w)\theta_{j-1}^w Vw^=Vw^+ηj=2∑N(1−σ(XwTθj−1w)−djw)θj−1w
关于为什么一个要加求和符号，另一个不用有一个相对简单的解释。
对于 θ j − 1 w \theta_{j-1}^w θj−1w,其对应着每个非叶节点，而到达一个非叶节点的概率为 P ( d j w ∣ X ( w ) , θ ) P(d_j^w|X(w), \theta) P(djw∣X(w),θ),所以只需要对这个概率求偏导就行了；而对于 V ( w ) V(w) V(w), 到达w的词向量(也就是某个叶节点)时，该路径上的每个概率值都与它有关，求偏导的话，要对 P ( w ∣ c o n t e x t ) P(w|context) P(w∣context)求，所以要求和。
2.Skip-gram模型
这个与CBOW是相反的情况：给定一个中心词w，求其上下文 C o n t e x t ( w ) Context(w) Context(w)的概率。
输入层：当前中心词的词向量 v ( w ) v(w) v(w);
投影层：没用，不做任何变换，只是为了和中心层对齐，所以仍是 v ( w ) v(w) v(w);
输出层：哈夫曼树，叶子节点对应w的上下文中的每个词的词向量。
目标是求出 P ( c o n t e x t ( w ) ∣ w ) P(context(w)|w) P(context(w)∣w).
P ( c o n t e x t ( w ) ∣ w ) = ∏ P ( u ∣ w ) = ∏ j = 2 N P ( d j u ∣ v ( w ) , θ j − 1 u ) P(context(w)|w) = \prod P(u|w) = \prod_{j=2}^NP(d_j^u|v(w), \theta_{j-1}^u) P(context(w)∣w)=∏P(u∣w)=j=2∏NP(dju∣v(w),θj−1u)
推导过程跟上面类似。只是参数的上标换成了u(u代表上下文中每个词的词向量)。
L = ∑ w ∈ C ∏ u ∈ C o n t e x t ( w ) ∏ j = 2 N [ σ ( v ( w ) T θ j − 1 u ) ] 1 − d j u ⋅ [ 1 − σ ( v ( w ) T θ j − 1 u ) d j u ] L = \sum_{w \in C}\prod_{u \in Context(w)} \prod_{j=2}^N [\sigma (v(w)^T\theta_{j-1}^u)]^{1-d_j^u}\cdot [1-\sigma(v(w)^T\theta_{j-1}^u)^{d_j^u}] L=w∈C∑u∈Context(w)∏j=2∏N[σ(v(w)Tθj−1u)]1−dju⋅[1−σ(v(w)Tθj−1u)dju]
( L L L代表对所有样本的概率求和，也就是所谓的最大似然函数)
取对数，依然设为 L L L,得：
L = ∑ w ∈ C ∑ u ∈ C o n t e x t ( w ) ∑ j = 2 N { [ ( 1 − d j u ) σ ( v ( w ) T θ j − 1 u ) ] + [ d j u ( 1 − σ ( v ( w ) T θ j − 1 u ) ) ] } L = \sum_{w \in C} \sum_{u \in Context(w)} \sum_{j=2}^N\{[(1-d_j^u)\sigma (v(w)^T\theta_{j-1}^u)]+ [d_j^u(1-\sigma(v(w)^T\theta_{j-1}^u))]\} L=w∈C∑u∈Context(w)∑j=2∑N{ [(1−dju)σ(v(w)Tθj−1u)]+[dju(1−σ(v(w)Tθj−1u))]}
对 L L L求偏导：
∂ L ∂ v ( w ) = ∑ u ∈ C o n t e x t ( w ) ∑ j = 2 N ( 1 − σ ( v ( w ) T θ j − 1 u ) − d j u ) θ j − 1 u \frac{\partial L}{\partial v(w)} = \sum_{u \in Context(w)} \sum _{j=2}^N (1-\sigma(v(w)^T \theta_{j-1}^u)-d_j^u)\theta_{j-1}^u ∂v(w)∂L=u∈Context(w)∑j=2∑N(1−σ(v(w)Tθj−1u)−dju)θj−1u
∂ L ∂ θ j − 1 w = ( 1 − σ ( v ( w ) T θ j − 1 u ) − d j u ) v ( w ) \frac{\partial L}{\partial \theta_{j-1}^w} = (1-\sigma(v(w)^T \theta_{j-1}^u)-d_j^u)v(w) ∂θj−1w∂L=(1−σ(v(w)Tθj−1u)−dju)v(w)
那么：
θ j − 1 = θ j − 1 + η ( 1 − σ ( v ( w ) T θ j − 1 u ) − d j u ) v ( w ) \theta_{j-1} = \theta_{j-1} + \eta (1-\sigma(v(w)^T \theta_{j-1}^u)-d_j^u)v(w) θj−1=θj−1+η(1−σ(v(w)Tθj−1u)−dju)v(w)
v ( w ) = v ( w ) + ∑ u ∈ C o n t e x t ( w ) ∑ j = 2 N ( 1 − σ ( v ( w ) T θ j − 1 u ) − d j u ) θ j − 1 u v(w) = v(w) + \sum_{u \in Context(w)} \sum _{j=2}^N (1-\sigma(v(w)^T \theta_{j-1}^u)-d_j^u)\theta_{j-1}^u v(w)=v(w)+u∈Context(w)∑j=2∑N(1−σ(v(w)Tθj−1u)−dju)θj−1u
注：
CBOW中的V(w)和skip-gram中的v(w)没有区别，我懒得改了。
参考文献：
word2vec 中的数学原理详解（四）基于 Hierarchical Softmax 的模型