Python与自然语言处理——文本向量化（一）

文本向量化（一）

文本向量化概述

• 文本向量化是将文本表示成一系列能够表达文本语义的向量。
• 主要技术
  • word2vec
  • doc2vec
  • str2vec

向量化算法word2vec

词袋模型

• 最早的以词语为基本处理单元的文本向量化方法
• 方法：
  • 基于出现的词语构建词典（唯一索引）
  • 统计每个单词出现的词频构成向量
• 存在的问题
  • 维度灾难
  • 无法保留语序信息
  • 存在语义鸿沟的问题

神经网络语言模型（NNLM）

• 特点
  与传统方法估算$P\left(w_i|w_{i-\left(n-1\right)},\cdots ,w_{i-1}\right)$不同，NNLM直接通过一个神经网络结构对$n$元条件概率进行估计。
• 基本结构
  
• 大致操作
  从语料库中搜集一系列长度为$n$的文本序列$w_{i-\left(n-1\right)},\cdots ,w_{i-1},w_i$，假设这些长度为$n$的文本序列组成的集合为$D$，那么NNLM的目标函数为：
  $${\sum }_{D}P\left(w_i|w_{i-\left(n-1\right)},\cdots ,w_{i-1}\right)$$
• 网络模型
  • 输入层：低维度、紧密的词向量，将词序列$w_{i-\left(n-1\right)},\cdots ,w_{i-1}$中每个词向量按顺序拼接：
    $$x=\left[v\left(w_{i-\left(n-1\right)}\right);\cdots ;v\left(w_{i-2}\right);v\left(w_{i-1}\right)\right]$$
  • 将得到的$x$输入到隐含层，得到$h$：
    $$h=\tanh \left(b+Hx\right)$$
    其中$H$为输入层到隐含层的权重矩阵，维度为$\left|h\right|\times \left(n-1\right)\left|e\right|$。
  • 隐含层的$h$接入输出层得到$y$:
    $$y=b+Uh$$
    其中$U$为隐藏层到输出层的权重矩阵，维度为$\left|V\right|\times \left|h\right|$，$\left|V\right|$表示词表的大小。
  • 对输出层进行归一化
    在输出层前加$softmax$函数，将$y$转化为对应的概率值：
    $$P\left(w_i|w_{i-\left(n-1\right)},\cdots ,w_{i-1}\right)=\frac{\exp \left(y\left(w_i\right)\right)}{{\sum }_{k=1}^{|V|}\exp \left(y\left(w_k\right)\right)}$$
• 训练方法
  使用随机梯度下降法法训练，在训练每个batch时，随机从语料库$D$中抽取若干样本进行训练，迭代公式：
  $$\theta :\theta +\alpha \frac{\partial \log P\left(w_i|w_{i-\left(n-1\right)},\cdots ,w_{i-1}\right)}{\partial \theta }$$
  其中$\alpha$为学习率，$\theta$为模型中涉及的所有参数。

C&W模型

• 特点
  • NNLM的目标是构建一个语言概率模型，C&W则是生成词向量
• 核心机制
  如果$n$元短语在语料库中出现过，则给该短语打高分，如未出现过则打较低的评分
• 模型结构
  
• 目标函数
  $${\sum }_{\left(w.c\right)\in D}{\sum }_{w^{\prime }\in V}\max \left(0,1-score\left(w,c\right)+score\left(w^{\prime },c\right)\right)$$
  其中$\left(w,c\right)$为正样本，从语料中抽取的$n$元短语，$n$为单数，$w$为目标词，$c$为目标词的上下文语境，$w^{\prime }$是从词典中随机抽取的一个词语，$\left(w^{\prime },c\right)$为负样本。

CBOW模型和Skip-gram模型

CBOW模型

• 简介
  • 以一段文本的中间词作为目标词
  • 去掉了隐含层，提高了运行速度
• 模型结构
  
• CBOW对目标词的条件概率计算公式
  $$P\left(w|c\right)=\frac{\exp \left(e^{\prime }{\left(w\right)}^{T}x\right)}{{\sum }_{w^{\prime }\in V}\exp \left(e^{\prime }{\left(w^{\prime }\right)}^{T}x\right)}$$
• CBOW的目标函数
  $$\max {\sum }_{\left(w.c\right)\in D}\log P\left(w,c\right)$$

Skip-gram模型

• 简介
  • 与CBOW类似，没有隐含层
  • CBOW输入上下文词的中间词向量，Skip-gram从目标词$w$的上下文中选择一个词
• 模型结构
  
• Skip-gram目标函数
  $$\max \left({\sum }_{\left(w.c\right)\in D}{\sum }_{w_j\in c}\log P\left(w|w_j\right)\right)$$

参考文献

《Python与自然语言处理》