中文分词：最大匹配法简示

对于变得强大，首先你能尽量做的，就是接受弱小的事实。

 

各国语言的表达方式不同，书写方式也不同。自然语言处理中，最先做的，也是最基础的就是分词。我们知道，英文分词不存在什么困难。Why？因为它自动分词了啊。

What is up, man?

让机器分词很简单，空格隔开的两边就是分词结果。what是个词，is是个词......

中文就麻烦了，比如：中华民族是一个伟大的国家。

机器怎么分？最次的分法：

中/华/民/族/是/一/个/伟/大/的/国/家。

 

和没分一样。再来，“中华”算一个词，“华民”算一个词。怎样让机器知道在这个句子里是：

中华/民族       而不是：

中/华民/族      ？

 

总之我们语言特点的原因，分词有着这样那样的困难。这次我们来一起玩一个最简单分词方式——匹配法。我尝试着来说清它原理。

 

我们拿这个句子来说：

他是研究生物化学的。

 

显然正确分词是：他/是/研究/生物/化学/的。

但里面能够被认定为词的还有：“研究生”，“物化”。

 

怎样做出正确的分词？

 

最大匹配法，原理是这样的：

我们需要个词典，里面有全部可能的词，比如上图。我们固定住头，用“菱形”标记下。我们从句子末尾开始向前找，“他是研究生物化学的”有没有在词典里。有，就当成分词。不是的话前移，直到：

只剩下一个字“他”，没得移了。那就将他当成一个词，菱形标记后移：

找下一个词，重复上面的步骤。分出“是”：

寻找下一个词：

当我们抠出“研究生”时，判断字典里有，ok，“研究生”是个词。

移动指针找下一个词，找出“物化”。之后是“学”，“的”。

这种方法最终的分词结果是：

他/是/研究生/物化/学的。

 

此方法叫正向最大匹配法（FMM），从前往后找。反过来，从后往前找就是反向最大匹配法了（BMM）。

 

 

我们用python，尝试着实现下。

定义词典和例句，一般词典中是没有那么多单字的，这里为了简单，将单字写入。

 

我们先来看FMM：

start = 0
while start != len(sentence):
    index = len(sentence)
    for i in range(len(sentence)):
        if sentence[start : index] in dic:
            print(sentence[start : index], end='/')
            start = index
            break
        index += -1

start（菱形）为起始指针，index（箭头）定位从后往前移动的指针。（用指针不太准确，在Python里面就说下标吧）

while循环每次找出一个分词。

循环的结束条件就是start移到了句子的最后一位上，结束了。

内部的for循环是index移动过程，当sen[start:index]在词典里面时，就跳出循环。更新start值，寻找下一个词。

 

来看BMM：

result = []
start = len(sentence)
while start != 0:
    index = 0
    for i in range(len(sentence)):
        if sentence[index: start] in dic:
            result.append(sentence[index:start])
            start = index
            break
        index += 1

for i in result[::-1]:
    print(i,end='/')

差不多是一样的，方向变了下，start（菱形）从句子末尾开始，index（箭头）从句子开头向后移。

这里有个点，我们从后找出来不能直接输出，因为最先找到的是“的”这个词，如果按顺序输出的话，句子就反了。所以我们建个list，先把分词放进去，最后反向输出下，就可以了。

棒棒的，BMM就是我们想要的分词结果。

 

我们再来聊点别的，FMM，BMM的分词结果，我们让机器选哪个呢？肯定不能让人盯着看，哪个对选哪个，那还要机器分哪门子的词。

我们可以指定规则。

两种方法的分词结果，分词数越少，我们就认为它越有可能。因为最差的分词是啥了？

他/是/研/究/生/物/化/学/的。（全是单字词）

所以我们认为词数越少的方法越好，

 

看我们上面的例子：

FMM分词结果：

他/是/研究生/物化/学/的/

 

BMM分词结果：

他/是/研究/生物/化学/的/

 

分词数一样，全是六。肿么办？这种情况下，我们再判断句子中的单字数，谁的单字数越少，我们就认为分词效果越好。

FMM单字数是4：他，是，学，的。

BMM是3：他，是，的。

我们选择BMM。很好，和我们认为对的结果相同。（注意，这种规则不能保证完全正确，只是绝大部分情况下。）

 

最后，我们来说说，匹配法的不足之处有哪些。

比如，他需要词典。如果词典里面的记录并不全，新兴词很可能识别不出。（skr~skr~ 这种，“品如”啊之类的）

词典容量小了会影响准确率，大了会影响运行效率，矛盾之处。

 

还有一些歧义句子，比如那个经典的：

南京市长江大桥

 

我们的理解有两种：

1、南京市长叫江大桥。

2、南京市的长江大桥。

用匹配法分词，不一定会分出很好的结果。这个例子可以。（笑）

比如这个例子：

就不会太好，而基于概率分词时，效果就会好很多。（结合成/分子/时）

 

对于算法的优化，其实index没必要从句子末尾开始找。我们可以记录词典中最长的词的长度length。每次从start的后面length个位置往前找就可以了。

结束吧。大家有补充的，写下面~