python 分词工具

在python这pymmseg-cpp 还是十分方便的！



步骤:
1 下载mmseg-cpp的源代码 http://code.google.com/p/pymmseg-cpp/
2  tar -zxf pymmseg-cpp*.tar.gz           //解压后得到pymmseg 目录
    cd pymmseg\mmseg-cpp
    python build.py     #生成 mmseg.so文件

3 将 pymmseg 目录复制到 /usr/local/lib/python2.6/dist-packages 中


4 测试有没有成功:
  test.py

Python代码  收藏代码
from pymmseg import mmseg  
mmseg.dict_load_defaults()   
text = '今天的天气真好啊，我们一起出去玩一下吧' 
algor = mmseg.Algorithm(text)   
for tok in algor:   
    print '%s [%d..%d]' % (tok.text, tok.start, tok.end)