BPE提取subword

有一篇机器翻译的文章Neural Machine Translation of Rare Words with Subword Units提到了这个英文分词方法，这里简要介绍BPE。

BPE全称Byte Pair Encoding，通过不断迭代分词，每次按照最大出现频率将某一种n-gram子串组合在一起。随着迭代的推进，就像滚雪球一样，将subword 的组成字符们聚在一起。

以单词 loving 为例。 

首先对于l-o-v-i-n-g，统计各个bi-gram的频率，即（l, o）,（o, v）,（v, i）,（i, n）,（n, g）出现的频率，用频数表示。假设分别为12，6，8，15，4。那么就将最大频数15对应的（i, n）先作为整体，得到第一步的分词结果：l-o-v-in-g；对这个结果再次使用上面的方法，比如进一步得到lo-v-in-g；以此类推，... lo-v-ing, lov-ing。