jieba分词源码解读二

上一篇文章说到结巴分词用了包装器实现了在 get_DAG 函数执行器生成了 trie 树。在这篇文章中我们要研究一下jieba分词中的 DAG（有向无环图，全称：directed acyclic graphs ）。

在 cut 函数使用正则表达式把文本切分成一个一个短语和句子后，再用 __cut_DAG 函数对其进行分词。这些句子和短语就是 所谓的 sentence。每一个sentence都会生成一个DAG。作者用来表达DAG的数据结构是dict + list 。举一个例子，比如 sentence 是 "国庆节我在研究结巴分词"，对应生成的DAG是这样的：

{0: [0, 1, 2], 1: [1], 2: [2], 3: [3], 4: [4], 5: [5, 6], 6: [6], 7: [7, 8], 8: [8], 9: [9, 10], 10: [10]}

其中的数字表示每个汉字在sentence中的位置，所以0：[0,1,2] 表示 在trie 树中，"国"开头的词语中对应于该 sentence 有三种匹配情况：国，国庆，国庆节；分别对应3条有向图的路径：0->1->2->3，0->2->3，0->3。结巴分词使用的是正向匹配法，这一点从字典中也可以看出。

此外补充一点在上一篇中提到的 initialize 函数除了生成了trie树外还返回了两个重要的值。在代码中分别叫 total 和 FREQ。total 是dict.txt中所有词语的词频之和。而FREQ是一个dict类型的变量，它用来保存dict.txt中每个词语的频度打分，打分的公式是 log(float(v)/total)，其中v就是被打分词语的频度值。

那么剩下的目标就很明确了：我们已经有了sentence的DAG和sentence中每个词语的频度得分，要在所有的路径中找出一条路径使频度得分的总和最大，这同时也是动态规划的一个典型应用。

作者实现的代码如下：

 def calc(sentence,DAG,idx,route):
     N = len(sentence)
     route[N] = (0.0,'')
     for idx in xrange(N-1,-1,-1):
         candidates = [ ( FREQ.get(sentence[idx:x+1],min_freq) + route[x+1][0],x ) for x in DAG[idx] ]
         route[idx] = max(candidates)

这是一个自底向上的动态规划，从sentence的最后一个字开始倒序遍历每个分词方式的得分（必须是倒序，正序不行，大家可以思考下为什么）。然后将得分最高的情况以（频度得分值，词语最后一个字的位置）这样的tuple保存在route中。（注：从代码上看idx是一个无用的参数~）

在这里分享一个文件，该文件保存了 用marshal序列化后默认的 trie，FREQ，total，min_freq。把这个文件解压后放到D盘根目录下，然后运行下面这段代码就可以看到任意一个sentence的route了。

 # -*- coding: utf-8 -*-
 # python2.7
 import marshal

 def get_DAG(sentence):

     N = len(sentence)
     i,j=0,0
     p = trie
     DAG = {}
     while i<N:
         c = sentence[j]
         if c in p:
             p = p[c]
             if '' in p:
                 if i not in DAG:
                     DAG[i]=[]
                 DAG[i].append(j)
             j+=1
             if j>=N:
                 i+=1
                 j=i
                 p=trie
         else:
             p = trie
             i+=1
             j=i
     for i in xrange(len(sentence)):
         if i not in DAG:
             DAG[i] =[i]
     return DAG

 def calc(sentence,DAG,idx,route):
     N = len(sentence)
     route[N] = (0.0,'')
     for idx in xrange(N-1,-1,-1):
         candidates = [ ( FREQ.get(sentence[idx:x+1],0.0) + route[x+1][0],x ) for x in DAG[idx] ]
         route[idx] = max(candidates)

 if __name__=='__main__':
     sentence=u'国庆节我在研究结巴分词'
     trie,FREQ,total,min_freq = marshal.load(open(u'D:\jieba.cache','rb'))#使用缓存载入重要变量
     rs=get_DAG(sentence)#获取DAG
     route={}
     calc(sentence,rs,0,route)#根据得分进行初步分词
     print route

附赠一篇讲如何判断有向图是否存在环的文章: http://blog.csdn.net/memray/article/details/8021865 。