Python中文分词包：jieba分词

一、 基本功能：
import jieba
jieba._pcut(str), 生成的结果未做词性标注
jieba.posseg.cut(str,HMM=False)
生成的结果已做词性标注,HMM为隐马尔科夫模型，用于未登陆词（在词典中未出现过）的识别

二、词库更新
（重新加载后失效，如需永久更改，可更换词典文件或者在现有词典文件中编辑更改）
1）增加自定义词 ：jieba.add_word(str,tag=” “)
若jieba默认的词典中存在自定义词语，则原词典中的词语将会替换成最新的，tag标记生效。

2）增加自定义词典：jieba.load_userdict(path)
字典内容格式如下：
真好 100 adg
香格里拉 3 n
注意：源码中自定义tag提取规则如下：re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?$’, re.U)
即：tag只能是小写英文，词频只能是数字

3）更改分词的主词典：jieba.set_dictionary(dict_path)
说明：词库更新操作均会改变jieba词库，词库重载后失效。jieba分词原则：采用词频统计计算得分最高者，为最终分词结果。
计算公式如下：
输入文本：S, 词典总词频：N(常量),单个词语的词频：P(A)
1）S = A+B+C+D 分词概率：p1= P(A)*P(B)*P(C)*P(D)/N*N*N*N
2) S = A +BC+D 分词概率：p2= P(A)*P(BC)*P(D)/N*N*N
因此，字典新增词语时，词频设置基于此公式即可。

4）新功能
特征词抽取（根据词频统计（tf-idf算法））
（1）jieba.analyse.extract_tags(text) 返回结果为一个list
（2）非windows系统下的并行分词
jieba.enable_parallel(4) 参数4代表进程数，默认为关闭状态
（3）Tokenize：返回词语在原文的起始位置
注意：该方法只接收unicode编码状态下的str

5）词典延迟加载机制
一般情况下，jieba在首次进行分词时才加载词典并生成trie树，若手动初始化，会立即加载。
import jieba
jieba.initialize() #手动初始化（可选）