NLP-*-jieba工具的使用

一 分词

支持三种分词模式：
1.精确模式，试图将句子最精确地切开，适合文本分析;
2.全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义;
3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

def test_cut(sentence):
    """
    测试分词三种模式
    :param sentence:
    :return:
    """
    seg1 = jieba.cut(sentence,cut_all=False,HMM=True)
    print("精确模式 -*-\t"+'/'.join(seg1))
    seg2 = jieba.cut(sentence, cut_all=True, HMM=True)
    print("全模式 -*-\t" + '/'.join(seg2))
    seg3 = jieba.cut_for_search(sentence, HMM=True)
    print("搜索引擎模式 -*-\t" + '/'.join(seg3))

分别支持简体和繁体中文的分词


但可以看出，默认字典下 繁体字支持的不够好。
可以导入自定义词典

def load_user_dict():
    """
    导入相应的自定义词典，必须是UTF-8的编码
    :return:
    """
    jieba.load_userdict("./config/newdict.txt")

还可以自己在代码中动态在词典中添加词、删除词

二 抽取关键词

主要有两种方法

依据TFIDF抽取

def tfidf_extract(content):
    keywords = jieba.analyse.extract_tags(content, topK=20, withWeight=True, allowPOS=())
    # 访问提取结果
    for item in keywords:
        # 分别为关键词和相应的权重
        print(item[0], item[1])

withWeight 表示是否包含权重，allowPOS表示允许通过哪几种词性的词，空表示全通过。POS标准与ictclas标准基本一致（后面附上）

TextRank抽取

def textrank_extract(content):
    keywords = jieba.analyse.textrank(content, topK=20, withWeight=True, allowPOS=('ns', 'nr', 'vn', 'v'))
    for item in keywords:
        # 分别为关键词和相应的权重
        print(item[0], item[1])
textrank的allowPOS默认包含（'ns', 'n', 'vn', 'v'）

关键词抽取可以自定义idf文件及停用词文件

def load_user_extract_file():
    jieba.analyse.set_idf_path("./files/idf.utf8")
    jieba.analyse.set_stop_words("./config/stopwords.txt")

并行分词

原理:将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
基于python自带的multiprocessing模块，目前暂不支持 Windows。

#开启并行分词
jieba.enable_parallel(4)
#关闭并行分词
jieba.disable_parallel()

词性标注

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer 参数可指定内部使用的jieba.Tokenizer 分词器

用法示例

def do_cut_pos(sentence):
    jieba.posseg.POSTokenizer()
    sentence_seg=jieba.posseg.cut(sentence.strip(),)
    outstr = ''
    for seg in sentence_seg:
        outstr += '{}/{},'.format(seg.word,seg.flag)
    return outstr

附：POS表（ICTCLAS）与 jieba 中的POS基本一致
1.名词(1个一类，7个二类，5个三类)
名词分为以下子类：
n名词
nr人名
nr1汉语姓氏
nr2汉语名字
nrj日语人名
nrf音译人名
ns地名
nsf音译地名
nt机构团体名
nz其它专名
nl名词性惯用语
ng名词性语素

2.时间词(1个一类，1个二类)
t时间词
tg时间词性语素

3.处所词(1个一类)
s处所词

4.方位词(1个一类)
f方位词

5.动词(1个一类，9个二类)
v动词
vd副动词
vn名动词
vshi动词“是”
vyou动词“有”
vf趋向动词
vx形式动词
vi不及物动词（内动词）
vl动词性惯用语
vg动词性语素

6.形容词(1个一类，4个二类)
a形容词
ad副形词
an名形词
ag形容词性语素
al形容词性惯用语

7.区别词(1个一类，2个二类)
b区别词
bl区别词性惯用语

8.状态词(1个一类)
z状态词

9.代词(1个一类，4个二类，6个三类)
r代词
rr人称代词
rz指示代词
rzt时间指示代词
rzs处所指示代词
rzv谓词性指示代词
ry疑问代词
ryt时间疑问代词
rys处所疑问代词
ryv谓词性疑问代词
rg代词性语素

10.数词(1个一类，1个二类)
m数词
mq数量词

11.量词(1个一类，2个二类)
q量词
qv动量词
qt时量词

12.副词(1个一类)
d副词

13.介词(1个一类，2个二类)
p介词
pba介词“把”
pbei介词“被”

14.连词(1个一类，1个二类)
c连词
cc并列连词

15.助词(1个一类，15个二类)
u助词
uzhe着
ule了喽
uguo过
ude1的底
ude2地
ude3得
usuo所
udeng等等等云云
uyy一样一般似的般
udh的话
uls来讲来说而言说来
uzhi之
ulian连（“连小学生都会”）

16.叹词(1个一类)
e叹词

17.语气词(1个一类)
y语气词(deleteyg)

18.拟声词(1个一类)
o拟声词

19.前缀(1个一类)
h前缀

20.后缀(1个一类)
k后缀

21.字符串(1个一类，2个二类)
x字符串
xx非语素字
xu网址URL

22.标点符号(1个一类，16个二类)
w标点符号
wkz左括号，全角：（〔［｛《【〖〈半角：([{<
wky右括号，全角：）〕］｝》】〗〉半角：)]{>
wyz左引号，全角：“‘『
wyy右引号，全角：”’』
wj句号，全角：。
ww问号，全角：？半角：?
wt叹号，全角：！半角：!
wd逗号，全角：，半角：,
wf分号，全角：；半角：;
wn顿号，全角：、
wm冒号，全角：：半角：:
ws省略号，全角：………
wp破折号，全角：——－－——－半角：-------
wb百分号千分号，全角：％‰半角：%
wh单位符号，全角：￥＄￡°℃半角：$