2022-01-06 第二章9 自然语言处理常见的三大任务之基础任务：子词切分

内容来自哈工大车万翔老师团队的作品《自然语言处理：基于预训练模型的方法》。

2. 子词切分

• 背景
  以英语为代表的印欧语系的语言，词语之间通常已有分隔符（空格等）进行切分，无须再进行额外的分词处理。然而，由于这些语言往往具有复杂的词形变化，如果仅以天然的分隔符进行切分，不但会造成一定的数据稀疏问题，还会导致由于词表过大而降低处理速度。
• 基于规则的词形还原&词干提取：
  词形还原：将变形的词语转换为原形，如将“computing”还原为“compute”
  词干提取：将前缀、后缀等去掉，保留词干（Stem），如“computing”的词干为“comput”，其结果可能不是一个完整的单词。
• 基于统计的无监督子词（Subword）切分任务
• 子词切分定义
  子词切分，就是将一个单词切分为若干连续的片段。算法的基本思路都是使用尽量长且频次高的子词对单词进行切分。

2.1 字节对编码（Byte Pair Encoding，BPE）算法

下面重点介绍常用的字节对编码（Byte Pair Encoding，BPE）算法：

BPE子词词表构造算法

• BPE例子：

1. 假设语料库中存在下列Python词典中的3个单词以及每个单词对应的频次。其中，每个单词结尾增加了一个'＜/w＞'字符，并将每个单词切分成独立的字符构成子词。

   
   
   词典的词

2. 初始化的子词词表为3个单词包含的全部字符：
   初始化词表

3. 统计单词内相邻的两个子词的频次，并选取频次最高的子词对'e'和's'，合并成新的子词'es'（9次），将其子词词表中，并将语料库中不再存在的子词's'从子词词表中删去。
   

   语料库以及子词词表变为：
   语料库
   子词词表
   
   
   再合并下一个子词对：'es'和't'，新的语料库和子词词表为
   语料库
   子词词表
4. 重复过程3，直到子词词表大小达到一个期望的词表大小为止。
5. 根据子词序列将单词切分
   采用贪心的方法：
   ① 首先将子词词表按照子词的长度由大到小进行排序。
   ② 然后，从前向后遍历子词词表，依次判断一个子词是否为单词的子串，如果是的话，则将该单词切分，然后继续向后遍历子词词表。如果子词词表全部遍历结束，单词中仍然有子串没有被切分，那么这些子串一定为低频串，则使用统一的标记，如'＜UNK＞'进行替换。

例如，对一个含有三个单词的句子['the＜/w＞'，'highest＜/w＞'，'mountain＜/w＞']进行切分，假设排好序的词表为['errrr＜/w＞'，'tain＜/w＞'，'moun'，'est＜/w＞'，'high'，'the＜/w＞'，'a＜/w＞']，则子词切分的结果为['the＜/w＞'，'high'，'est＜/w＞'，'moun'，'tain＜/w＞']。此过程也叫作对句子（单词序列）进行编码。

6. 将编码还原成原始的句子
   将全部子词进行拼接，然后将结尾字符替换为空格，就恰好为原始的句子了。
7. 缓存技术加快编码速度。
   将常见单词对应的编码结果事先存储下来，然后编码时通过查表的方式快速获得编码的结果。对于查不到的单词再实际执行编码算法。
   由于高频词能够覆盖语言中的大部分单词，因此该方法实际执行编码算法的次数并不多，因此可以极大地提高编码过程的速度。

2.2 WordPiece

WordPiece与BPE算法类似，也是每次从子词词表中选出两个子词进行合并。

• 与BPE的最大区别在于，选择两个子词进行合并的策略不同：BPE选择频次最高的相邻子词合并，而WordPiece选择能够提升语言模型概率最大的相邻子词进行合并。

经过公式推导，提升语言模型概率最大的相邻子词具有最大的互信息值，也就是两子词在语言模型上具有较强的关联性，它们经常在语料中以相邻方式同时出现。

2.3 ULM

与WordPiece一样，ULM同样使用语言模型挑选子词。

• 不同之处在于，BPE和WordPiece算法的词表大小都是从小到大变化，属于增量法。而ULM则是减量法，
  即先初始化一个大词表，根据评估准则不断丢弃词表中的子词，直到满足限定条件。

ULM算法考虑了句子的不同分词可能，因而能够输出带概率的多个子词分段。