2022-01-06 第二章9 自然语言处理常见的三大任务之基础任务:子词切分

内容来自哈工大车万翔老师团队的作品《自然语言处理:基于预训练模型的方法》。

2. 子词切分

  • 背景
    以英语为代表的印欧语系的语言,词语之间通常已有分隔符(空格等)进行切分,无须再进行额外的分词处理。然而,由于这些语言往往具有复杂的词形变化,如果仅以天然的分隔符进行切分,不但会造成一定的数据稀疏问题,还会导致由于词表过大降低处理速度
  • 基于规则的词形还原&词干提取:
    词形还原:将变形的词语转换为原形,如将“computing”还原为“compute”
    词干提取:将前缀、后缀等去掉,保留词干(Stem),如“computing”的词干为“comput”,其结果可能不是一个完整的单词。
  • 基于统计的无监督子词(Subword)切分任务
  • 子词切分定义
    子词切分,就是将一个单词切分为若干连续的片段。算法的基本思路都是使用尽量长且频次高的子词对单词进行切分。

2.1 字节对编码(Byte Pair Encoding,BPE)算法

下面重点介绍常用的字节对编码(Byte Pair Encoding,BPE)算法:


BPE子词词表构造算法
  • BPE例子:
  1. 假设语料库中存在下列Python词典中的3个单词以及每个单词对应的频次。其中,每个单词结尾增加了一个'</w>'字符,并将每个单词切分成独立的字符构成子词。


    词典的词
  2. 初始化的子词词表为3个单词包含的全部字符:
    初始化词表
  3. 统计单词内相邻的两个子词的频次,并选取频次最高的子词对'e'和's',合并成新的子词'es'(9次),将其子词词表中,并将语料库中不再存在的子词's'从子词词表中删去。

    语料库以及子词词表变为:
    语料库
    子词词表

    再合并下一个子词对:'es'和't',新的语料库和子词词表为
    语料库
    子词词表
  4. 重复过程3,直到子词词表大小达到一个期望的词表大小为止。
  5. 根据子词序列将单词切分
    采用贪心的方法:
    ① 首先将子词词表按照子词的长度由大到小进行排序。
    ② 然后,从前向后遍历子词词表,依次判断一个子词是否为单词的子串,如果是的话,则将该单词切分,然后继续向后遍历子词词表。如果子词词表全部遍历结束,单词中仍然有子串没有被切分,那么这些子串一定为低频串,则使用统一的标记,如'<UNK>'进行替换。

例如,对一个含有三个单词的句子['the</w>','highest</w>','mountain</w>']进行切分,假设排好序的词表为['errrr</w>','tain</w>','moun','est</w>','high','the</w>','a</w>'],则子词切分的结果为['the</w>','high','est</w>','moun','tain</w>']。此过程也叫作对句子(单词序列)进行编码。

  1. 将编码还原成原始的句子
    将全部子词进行拼接,然后将结尾字符替换为空格,就恰好为原始的句子了。
  2. 缓存技术加快编码速度。
    将常见单词对应的编码结果事先存储下来,然后编码时通过查表的方式快速获得编码的结果。对于查不到的单词再实际执行编码算法。
    由于高频词能够覆盖语言中的大部分单词,因此该方法实际执行编码算法的次数并不多,因此可以极大地提高编码过程的速度。

2.2 WordPiece

WordPiece与BPE算法类似,也是每次从子词词表中选出两个子词进行合并。

  • 与BPE的最大区别在于,选择两个子词进行合并的策略不同:BPE选择频次最高的相邻子词合并,而WordPiece选择能够提升语言模型概率最大的相邻子词进行合并。

经过公式推导,提升语言模型概率最大的相邻子词具有最大的互信息值,也就是两子词在语言模型上具有较强的关联性,它们经常在语料中以相邻方式同时出现。

2.3 ULM

与WordPiece一样,ULM同样使用语言模型挑选子词。

  • 不同之处在于,BPE和WordPiece算法的词表大小都是从小到大变化,属于增量法。而ULM则是减量法,
    即先初始化一个大词表,根据评估准则不断丢弃词表中的子词,直到满足限定条件。

ULM算法考虑了句子的不同分词可能,因而能够输出带概率的多个子词分段。

你可能感兴趣的:(2022-01-06 第二章9 自然语言处理常见的三大任务之基础任务:子词切分)