NLP-Task4——从one-hot到word2vec

词的表达

1. 给定语料库$\mathbb{D}=\left\{{\mathcal{D}}_1,{\mathcal{D}}_2,\cdots ,{\mathcal{D}}_N\right\}$，其中包含N篇文档。
   每篇文档${\mathcal{D}}_i$包含单词序列$\left({\mathrm{word}}_{I_1^i},{\mathrm{word}}_{I_2^i},\cdots ,{\mathrm{word}}_{I_{n_i}^i}\right)$，其中$I_j^i\in \{1,2,\cdots ,V\}$表示单词的编号:
   i表示第i篇文档
   j表示文档中的第j个单词
   $n_i$表示第i篇文档中包含$n_i$个单词
   $v=I_j^i$表示第i篇文档的第j个单词为${\mathrm{word}}_v$
   所有单词来自于词汇表$\mathbb{V}=\left\{{\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}}_1,{\text{ word }}_2,\cdots ,{\text{ word }}_V\right\}$，其中V表示词汇表的大小。
   词的表达任务要解决的问题是：如何表达每个单词的${\mathrm{word}}_v$
2. 最简单的表示方式是one-hot编码，对于词汇表的第v个单词${\mathrm{word}}_v$将其表示为:$${\mathrm{word}}_v\to (0,0,\cdots ,0,1,0,\cdots ,0{)}^T$$
   即第v位取值为1，剩余位取值为0.
   这种表示方法有两个主要缺点：
   无法表达单词之间的关系，对于任意一对单词$\left({\text{ word }}_i,{\text{ word }}_j\right)$，其向量的距离为$\sqrt{2}$。
   单词维度过高。对于中文词汇表，其大小可能达到数十万，因此one-hot向量的维度也在数十万维，这对于存储、计算都消耗过大。
3. Bow:Bag of Words：词在文档中不考虑顺序，这称作词袋模型。

Word2Vec

CBOW模型

CBOW模型(Continuous bag-of-word)：根据上下文来预测一个单词。

一个单词上下文

网络结构

1. 在一个单词上下文的CBOW模型中，输入的是前一个单词，输出是后一个单词；输入为输出的上下文，由于只有一个单词作为输入，因此称作一个单词的上下文。
2. 一个单词上下文的CBOW模型如下：
   
   其中：

• N为隐层的大小，即隐向量$\mathbf{h}\in {\mathbb{R}}^N$。
• 网络输入$\mathbf{x}={\left(x_1,x_2,\cdots ,x_V\right)}^T\in {\mathbb{R}}^V$，它是输入单词（即上下文单词）的one-hot编码，其中只有一位为1，其他位都为0。
• 网络输出$\mathbf{y}={\left(y_1,y_2,\cdots ,y_V\right)}^T\in {\mathbb{R}}^V$，它是输出单词为词汇表个单词的概率。
• 相邻层之间为全连接：
  • 输入层和隐层之间的权重矩阵为W，其尺寸$V\times N$。
  • 隐层和输出层之间的权重矩阵为${\mathbf{W}}^{\prime }$，其尺寸为$N\times V$。

3. 假设没有激活函数，没有偏置项。给定输入$\mathbf{x}\in {\mathbb{R}}^V$,则其对应的隐向量$\mathbf{h}\in {\mathbb{R}}^N$为：$\mathbf{h}={\mathbf{w}}^T\mathbf{x}$。令$$\mathbf{W}=\left[\begin{array}{c}{\mathbf{w}}_1^T\\ {\mathbf{w}}_2^T\\ ⋮\\ {\mathbf{w}}_V^T\end{array}\right]$$
   由于$\mathbf{x}$是个one-hot编码，假设它为此表$\mathbb{V}$中第k个单词${\mathrm{word}}_k$，即：
   $$x_1=0,x_2=0,\cdots ,x_{k-1}=0,x_k=1,x_{k+1}=0,\cdots ,x_V=0$$
   则有：$\mathbf{h}={\mathbf{w}}_k$。
   即：W的第k行${\mathbf{w}}_k$就是词表$\mathbb{V}$中的第k个单词${\mathrm{word}}_k$的表达，称作单词${\mathrm{word}}_k$的输入向量。
4. 给定隐向量$\mathbf{h}$，其对应的输出向量$\mathbf{u}\in {\mathbb{R}}^v$为：$\mathbf{u}={{\mathbf{W}}^{\prime }}^T\mathbf{h}$
   令：$${\mathbf{W}}^{\prime }=\left[{\mathbf{w}}_1^{\prime },{\mathbf{w}}_2^{\prime },\cdots ,{\mathbf{w}}_V^{\prime }\right]$$
   则有：$u_j={\mathbf{w}}_j^{\prime }\cdot \mathbf{h}$，表示词表$\mathbb{V}$中，第j个单词${\mathrm{word}}_j$的得分。
   ${{\mathbf{w}}_j}^{\prime }$为矩阵${\mathbf{W}}^{\prime }$的第j列，称作单词${\mathrm{word}}_j$的输出向量。
5. $\mathbf{u}$之后接入一层softmax层，则有：
   $$y_j=p\left({\text{ word }}_j|\mathbf{x}\right)=\frac{\exp \left(u_j\right)}{{\sum }_{j^{\prime }=1}^V\exp \left(u_{j^{\prime }}\right)},j=1,2,\cdots ,V$$
   即$y_j$表示词汇表$\mathbb{V}$中第j个单词${\mathrm{word}}_j$为真实输出单词的概率。
6. 假设给定一个单词${\mathrm{word}}_I$（它称作上下文），观测到它的下一个单词为${\mathrm{word}}_O$。
   假设${\mathrm{word}}_O$对应的输出编号是$j^{\ast }$，则网络的优化目标是：
   $$\begin{array}{c}{\max }_{\mathbf{W},{\mathbf{W}}^{\prime }}p\left({\mathrm{word}}_O|{\text{ word }}_I\right)={\max }_{\mathbf{W},{\mathbf{W}}^{\prime }}{y}_{j^{\ast }}={\max }_{\mathbf{W},{\mathbf{W}}^{\prime }}\log \frac{\exp \left({\mathbf{w}}_{j^{\ast }}^{\prime }\cdot {\mathbf{w}}_I\right)}{{\sum }_{i=1}^V\exp \left({\mathbf{w}}_i^{\prime }\cdot {\mathbf{w}}_I\right)}\\ ={\max }_{\mathbf{W},{\mathbf{W}}^{\prime }}\left[{\mathbf{w}}_{j^{\ast }}^{\prime }\cdot {\mathbf{w}}_I-\log {\sum }_{i=1}^V\exp \left({\mathbf{w}}_i^{\prime }\cdot {\mathbf{w}}_I\right)\right]\end{array}$$
   其中${\mathbf{w}}_I$为输入单词${\mathrm{word}}_I$的输入向量。
7. 考虑到$u_j={\mathbf{w}}_j^{\prime }\cdot {\mathbf{w}}_I$，定义：
   $$\begin{array}{c}E=-\log p\left({\mathrm{word}}_O|{\mathrm{word}}_I\right)=-\left[{\mathbf{w}}_{j^{\ast }}^{\prime }\cdot {\mathbf{w}}_I-\log {\sum }_{i=1}^V\exp \left({\mathbf{w}}_i^{\prime }\cdot {\mathbf{w}}_I\right)\right]\\ =-\left[u_{j^{\ast }}-\log {\sum }_{i=1}^V\exp \left(u_i\right)\right]\end{array}$$
   则优化目标：$\min E$

参数更新

1. 定义$t_j=\mathbb{I}(j=j^{\ast })$，即第j个输出单元对应于真实的输出单词${\mathrm{word}}_O$时，它为1，否则为0.
   定义：$$e_j=\frac{\partial E}{\partial u_j}=y_j-t_j$$
   它刻画了每个输出单元的预测误差：

• 当$j=j^{\ast }$时：$e_j=y_j-1$，它刻画了输出概率（$y_j$）与真实概率1之间的差距
• 当$j̸=j^{\ast }$时：$e_j=y_j$，它刻画了输出概率与真实概率之间的差距

2. 根据：
   $$u_j={\mathbf{w}}_j^{\prime }\cdot \mathbf{h}\to \frac{\partial u_j}{\partial {\mathbf{w}}_j^{\prime }}=\mathbf{h}$$
   则有：
   $$\frac{\partial E}{\partial {\mathbf{w}}_j^{\prime }}=\frac{\partial E}{\partial u_j}\times \frac{\partial u_j}{\partial {\mathbf{w}}_j^{\prime }}=e_j\mathbf{h}$$
   则${{\mathbf{w}}_j}^{\prime }$更新规则为：
   $${\mathbf{w}}_j^{\prime (new)}={\mathbf{w}}_j^{\prime (old)}-\eta e_j\mathbf{h}$$
   其物理意义为：

• 当估计过量（$e_j>0\to y_j>t_j$）时，${{\mathbf{w}}_j}^{\prime }$会减去一定比例的$\mathbf{h}$。
  这发生在第j个输出单元不对应于真实的输出单元时。
• 当估计不足($e_j<0\to y_j<t_j$)时，${{\mathbf{w}}_j}^{\prime }$会加上一定比例的$\mathbf{h}$。
  这发生在第j个输出单元刚好对应于真实的输出单词时。
• 当$y_j\simeq t_j$时，更新的幅度将非常微小。

3. 定义：$$\mathbf{E}\mathbf{H}=\frac{\partial E}{\partial \mathbf{h}}={\left(\frac{\partial \mathbf{u}}{\partial \mathbf{h}}\right)}^T\frac{\partial E}{\partial \mathbf{u}}$$
   根据：$$\mathbf{u}={\mathbf{W}}^{\prime T}\mathbf{h}\to {\left(\frac{\partial \mathbf{u}}{\partial \mathbf{h}}\right)}^T={\mathbf{W}}^{\prime }$$
   则有：$$\mathbf{E}\mathbf{H}={\mathbf{W}}^{\prime }\mathbf{e}=\sum _{j=1}^V{e}_j{\mathbf{w}}_j^{\prime }$$
   $\mathbf{E}\mathbf{H}$的物理意义为：词汇表$\mathbb{V}$中所有单词的输出向量的加权和，其权重为$e_j$。
4. 考虑到$\mathbf{h}={\mathbf{W}}^T\mathbf{x}$，则有：$$\frac{\partial E}{\partial w_{k,i}}=\frac{\partial E}{\partial h_i}\times \frac{\partial h_i}{\partial w_{k,i}}=E{H}_i\times x_k$$
   由于$\mathbf{x}$是one-hot编码，所以它只有一个分量非零，因此$\frac{\partial E}{\partial \mathbf{W}}$只有一行非零，且该非零行就等于$\mathbf{E}\mathbf{H}$。因此更新方程：
   $${\mathbf{w}}_I^{(new)}={\mathbf{w}}_I^{(old)}-\eta \mathbf{E}\mathbf{H}$$
   其中${\mathbf{w}}_I$为非零分量对应的W中的行，而W的其他行在本次更新中都保持不变。
5. 考虑更新行的第k列，则：
   $$w_{I,k}^{(new)}=w_{I,k}^{(old)}-\eta \sum _{j=1}^V{e}_j{w}_{j,k}^{\prime }$$
   当$y_j\simeq t_j$时，更新的幅度非常微小。
   当$y_j$与$t_j$差距越大，则更新的幅度越大。
6. 当给定许多训练样本，每个样本由两个单词组成，上述更新不断进行，更新的效果不断积累。

• 根据单词的共现效果，输出向量与输入向量相互作用并达到平滑。
  • 输出向量${\mathbf{w}}^{\prime }$的更新依赖于输入向量${\mathbf{w}}_I:{\mathbf{w}}_j^{\prime (new)}={\mathbf{w}}_j^{\prime (old)}-\eta e_j\mathbf{h}$。
    这里隐向量$\mathbf{h}$等于输入向量${\mathbf{w}}_I$。
  • 输入向量${\mathbf{w}}_I$的更新依赖于输出向量${\mathbf{w}}^{\prime }:{\mathbf{w}}_I^{(new)}={\mathbf{w}}_I^{(old)}-\eta \mathbf{E}\mathbf{H}$。
    这里$\mathbf{E}\mathbf{H}={\sum }_{j=1}^V{e}_j{\mathbf{w}}_j^{\prime }$为词汇表$\mathbb{V}$中所有单词的输出向量的加权和，其权重为$e_j$。
• 平衡的速度与效果取决于单词的共现分布，以及学习率。

Skip-Gram

1. CBOW模型是根据前几个单词（即上下文）来预测下一个单词，而Skip-Gram模型是根据一个单词来预测前几个单词（即上下文）。
2. 在CBOW模型中：

• 同一个单词的表达（即输入向量${\mathbf{w}}_I$）是相同的，因为参数$\mathbf{W}$是共享的。
• 同一个单词的输出向量${\mathbf{w}}_O^{\prime }$是不同的，因为输入向量随着上下文不同而不同。

3. 在Skip-Gram模型中：

• 同一个单词的表达（即输入向量${\mathbf{w}}_O^{\prime }$）是相同的，因为参数${\mathbf{W}}^{\prime }$是共享的
• 同一个单词的输入向量${\mathbf{w}}_I$是不同的，因为输入向量随着上下文不同而不同。

网络结构

1. Skip-Gram网络模型如下。其中：

• 网络输入$\mathbf{x}={\left(x_1,x_2,\cdots ,x_V\right)}^T\in {\mathbb{R}}^V$，它是输入单词的one-hot编码，其中只有一位为1，其他都为0。
• 网络输出${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_C$，其中${\mathbf{y}}_c={\left(y_1^c,y_2^c,\cdots ,y_V^c\right)}^T\in {\mathbb{R}}^V$是第c个输出单词为词汇表各单词的概率。
• 对于网络中的每个输出$y_c$，其权重矩阵都相同，为$W^{\prime }$，这称作权重共享。
  这里的权重共享隐含着：每个单词的输出向量是固定的、唯一的，与其他单词的输出无关。
  

2. Skip-Gram网络模型中，设网络第c个输出的第j个分量为$u_j^c={\mathbf{w}}_j^{\prime }\cdot \mathbf{h}$，则有：
   $$y_j^c=p\left({\mathrm{word}}_j^c|\mathbf{x}\right)=\frac{\exp \left(u_j^c\right)}{{\sum }_{k=1}^V\exp \left(u_k^c\right)};c=1,2,\cdots ,C;j=1,2,\cdots ,V$$
   $y_j^c$表示第c个输出中，词汇表$\mathbb{V}$中第j个单词${\mathrm{word}}_j$为真实输出单词的概率。
3. 因为$W^{\prime }$在多个单元之间共享，所以对于网络每个输出，其得分分布${\mathbf{u}}_c={\left(u_1^c,u_2^c,\cdots ,u_V^c\right)}^T$是相同的，但是这并不意味着网络的每个输出都是同一个单词。

• 并不是网络每个输出中，得分最高的为预测单词。因为每个输出中，概率分布都相同，即${\mathbf{y}}_1={\mathbf{y}}_2=\cdots ={\mathbf{y}}_C$。
• Skip-Grame网络的目标是：网络的多个输出之间的联合概率最大。

4. 假设输入为单词${\mathrm{word}}_I$，输出单词序列为${\mathrm{word}}_{O_1},{\mathrm{word}}_{O_2},\cdots ,$ word $o_C$。定义损失函数为：$$E=-\log p\left({\mathrm{word}}_{O_1},{\mathrm{word}}_{O_3},\cdots ,{\mathrm{word}}_{O_C}|{\text{ word }}_I\right)=-\log \prod _{c=1}^C\frac{\exp \left(u_{j_c^{\ast }}^e\right)}{{\sum }_{k=1}^V\exp \left(u_k^c\right)}$$
   其中$j_1^{\ast },j_2^{\ast },\cdots ,j_C^{\ast }$为输出单词序列对应于词典$\mathbb{V}$中的下标序列。
   由于网络每个输出得分分布都相同，令$u_k=u_k^c={\mathbf{w}}_k^{\prime }\cdot \mathbf{h}$，则上式化简为
   $$E=-\sum _{c=1}^C{u}_{j_c}^c+C\log \sum _{k=1}^V\exp \left(u_k\right)$$