python 中文分词

阅读更多

JavaEye曾经报道过ruby的中文分词程序：rmmseg-cpp 这个项目。rmmseg-cpp实际上是用C++来编写的分词，只在最外层和ruby进行了粘合。

现在作者pluskid（张驰原）在rmmseg-cpp的基础上提供了Python的代码封装，可以用在Python项目当中进行中文分词，用法示例如下：

from  pymmseg  import  mmseg

mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for  tok  in  algor:
    print   '%s [%d..%d]'  % (tok.text, tok.start, tok.end)

from pymmseg import mmseg
 
mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for tok in algor:
    print '%s [%d..%d]' % (tok.text, tok.start, tok.end)

该项目源代码在github上面：http://github.com/pluskid/pymmseg-cpp/

作者对于该项目的介绍请看：http://pluskid.lifegoo.com/?p=431