Python分词模块01: jieba安装,分词,提取关键词,自定义分词,切换词库

讲python的pypinyin的时候,我提到了分词模块jieba,说话结巴的jieba。它是python比较好用的分词模块, 支持中文简体,繁体分词,还支持自定义词库。
那在01这里我主要讲jieba的分词,提取关键词,自定义词语,词库切换这几个功能。

安装jieba####

命令安装:

pip install jieba
**github里下载安装**
地址 :https://github.com/fxsjy/jieba

jieba的基本使用:分词,提取关键字####

分词cut
jieba.cut()分词提供了多种模式:全模式,精确模式,搜索引擎模式
全模式:速度块,扫描成词的词语,但时会出现歧义的词语
精确模式:尽可能最准确非切分词语,比较适合作文本分析
搜索引擎模式:就是精确模式的基础上 ,对长词再次切分,提高召回率
例子:

#!/usr/bin/python
# -*- coding: UTF-8 -*- 
import jieba
strt = "人人编程时我们,适合编程初学者学习python的教材,也是好专业的童鞋关注学习" 
# 全模式
sl = jieba.cut(strt, cut_all=True)
print "全模式分词结果:", ",".join(sl)
print('\n')
 
# 精确模式,默认hi精确模式,所以可以不指定cut_all=False
sl = jieba.cut(strt, cut_all=False)
print "精确模式分词结果:", ",".join(sl)
print('\n')
 
# 搜索引擎模式
sl = jieba.cut_for_search(strt)
print "搜索引擎模式分词结果:", ",".join(sl)
(venv) allenwoo@~/renren$ python test.py 
Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/5c/0vmv6d5d2pqdwfl78gc436zw0000gn/T/jieba.cache
Loading model cost 0.438 seconds.
Prefix dict has been built succesfully.
全模式分词结果: 人人,编程,时,我们,,,适合,合编,编程,初学,初学者,学者,学习,python,的,教材,,,也,是,好,专业,的,童鞋,关注,学习


精确模式分词结果: 人人,编程,时,我们,,,适合,编程,初学者,学习,python,的,教材,,,也,是,好,专业,的,童鞋,关注,学习


搜索引擎模式分词结果: 人人,编程,时,我们,,,适合,编程,初学,学者,初学者,学习,python,的,教材,,,也,是,好,专业,的,童鞋,关注,学习
解释:从结果可以看出"全模式"有不少歧义,比如适合,合编,编程,初学,初学者,学者,而精确模式的结果是:适合,编程,初学者

执行前jieba会初始化加载词库,如下

Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/5c/0vmv6d5d2pqdwfl78gc436zw0000gn/T/jieba.cache
Loading model cost 0.438 seconds.
Prefix dict has been built succesfully.

附:如果不希望每次都加载词库,可以让jieba初始化后再后台一直运行:
比如在flask中使用的时候应该在初始化app文件中初始化jieba,然后其他程序再调用初始化后的,这个之后讲flask的时候会讲到

关键字提取nalyse.extract_tags:
jieba.analyse.extract_tags(sentence,topK)
sentence: 文本字符串
topK:  前几个,默认时20

例子:
注意:import jieba.analyse,而不是jieba

#!/usr/bin/python
# -*- coding: UTF-8 -*- 
import jieba
import jieba.analyse
strt = "人人编程是适合编程初学者学习python关注的公众号,也是好专业的童鞋关注学习。我们讲讲解python基础编程,python一些第三方模块的使用,python一些第三方框架如flask web框架等"
# topK 默认为20
keywords = jieba.analyse.extract_tags(strt)
print(",".join(keywords))
print("\n")
 
keywords = jieba.analyse.extract_tags(strt, topK=3)
print(",".join(keywords))
print("\n")
 
# 有时候我们不确定该取几个关键词,这个时候我们可以取总词的百分比
sl = jieba.cut(strt)
w_cnt = len(list(sl))
print("一共有{}个词".format(w_cnt))
# 取5%
get_cnt = int(w_cnt*0.05)
print("取5%数量的关键词:{}个".format(get_cnt))
keywords = jieba.analyse.extract_tags(strt, topK=get_cnt)
print(",".join(keywords))
python,编程,第三方,框架,童鞋,web,flask,学习,初学者,关注,模块,讲解,一些,人人,公众,适合,专业,基础,使用,我们


python,编程,第三方


一共有46个词
取5%数量的关键词:2个
python,编程

jieba动态添加自定义词

#!/usr/bin/python
# -*- coding: UTF-8 -*- 
import jieba
strt = "我是巴拉巴拉小魔鬼" 
sl = jieba.cut(strt)
print "[自定义前]:","/".join(sl)
 
# 添加自定义词
jieba.add_word('巴拉巴拉')
jieba.add_word('小魔鬼')
sl = jieba.cut(strt)
print "[自定义后]:", "/".join(sl)
[自定义前]: 我/是/巴拉巴/拉小/魔鬼
[自定义后]: 我/是/巴拉巴拉/小魔

自定义词库
我们也可以自己定义了词库,需要使用的时候把我们自定义的词库也load进来,这样jieba就会同时使用 “jieba初始化时加载的词库” 和 “我们自定义的词库”

在我们本地下新建一个文件renren-dict.txt, 写入一个词语
(venv) allenwoo@~/renren$ cat renren-dict.txt 
python人 5 nz
#!/usr/bin/python
# -*- coding: UTF-8 -*- 
import jieba
strt = "我们python人,玩蛇者" 
sl = jieba.cut(strt)
print "[加载自定义词库前]:","/".join(sl)
 
# 加载自定义词库
jieba.load_userdict("./renren-dict.txt")
sl = jieba.cut(strt)
print "[加载自定义词库后]:", "/".join(sl)
[加载自定义词库前]: 我们/python/人/,/玩蛇者
[加载自定义词库后]: 我们/python人/,/玩蛇者
因为我们自定义的词库将 “python人”定义为一个词了

词库切换:
上面的load_userdict时加载自定义词库和jieba初始化词库一同使用
但是,默认的初始化词库放在安装目录下,很多时候我们需要替换掉它,替换成我们觉得更全面的词库。还有时候我们需要将它放到自己的目录下面。
这个时候我们就可以使用jieba的词库切换功能set_dictionary()
我们可以将jieba默认词库copy到我们自己目录下,也可以网上寻找更全面的词库
(ubuntu)默认词库路径在模块安装路径下:
如果是虚拟环境

venv/lib/python2.7/site-packages/jieba/dict.txt

例子:

#!/usr/bin/python
# -*- coding: UTF-8 -*- 
import jieba
# 切换词库
jieba.set_dictionary("./renren-dict.txt")
strt = "我们python人,玩蛇者" 
sl = jieba.cut(strt)
print "/".join(sl)

如果我们切换了词库,这个时候程序就会初始化我们指定的词库,而不加载默认路径的词库

(venv) allenwoo@~/renren$ python test.py 
Building prefix dict from /Users/allenwoo/renren/renren-dict.txt ...
Dumping model to file cache /var/folders/5c/0vmv6d5d2pqdwfl78gc436zw0000gn/T/jieba.ue964acea829f11ec25dab31f363e67bf.cache
Loading model cost 0.003 seconds.
Prefix dict has been built succesfully.
我们/python人/,/玩蛇者

jieba的功能还没讲完,还有其他几个功能就留着下吧

你可能感兴趣的:(Python分词模块01: jieba安装,分词,提取关键词,自定义分词,切换词库)