中文自然语言处理--jieba 中文分词

jieba 的分词算法
主要有以下三步:
1.基于统计词典,构造前缀词典,基于前缀词典对句子进行切分,得到所有切分可能,根据切分位置,构造一个有向无环图(DAG);
2.基于DAG图,采用动态规划计算最大概率路径(最有可能的分词结果),根据最大概率路径分词;
3.对于新词(词库中没有的词),采用有汉字成词能力的 HMM 模型进行切分。

import jieba
import jieba.posseg as psg
from collections import Counter

# 并行分词原理为文本按行分隔后,分配到多个 Python 进程并行分词,最后归并结果
# 开启并行分词模式,参数为并行进程数 。
# 注意:only supports posix system,并行分词暂不支持Windows且并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt
# jieba.enable_parallel(4)
# 关闭并行分词模式 。
# jieba.disable_parallel()

content = "现如今,机器学习和深度学习带动人工智能飞速的发展,并在图片处理、语音识别领域取得巨大成功。NLP还需继续努力"

# 1.精确分词:精确模式试图将句子最精确地切开,精确分词也是默认分词
# jieba.cut 方法接受三个输入参数: 需要分词的字符串;cut_all 参数用来控制是否采用全模式;
# HMM 参数用来控制是否使用 HMM 模型
segs_1 = jieba.cut(content, cut_all=False)
print("segs_1:", segs_1)
print("/".join(segs_1))

# 2.全模式分词:把句子中所有的可能是词语的都扫描出来,速度非常快,但不能解决歧义。
segs_3 = jieba.cut(content, cut_all=True)
print("segs_3:", segs_3)
print("/".join(segs_3))

# 3.搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
# 适合用于搜索引擎构建倒排索引的分词,粒度比较细。
segs_4 = jieba.cut_for_search(content)
# jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 Generator
print("segs_4:", segs_4)
print("/".join(segs_4))

# jieba.lcut 对 cut 的结果做了封装,l 代表 list,即返回的结果是一个 list 集合
# 同样的,用 jieba.lcut_for_search 也直接返回 list 集合
segs_5 = jieba.lcut(content)
print(segs_5)
segs_6 = jieba.lcut_for_search(content)
print(segs_6)

# 获取词性
# jieba 可以很方便地获取中文词性,通过 jieba.posseg 模块实现词性标注
print([(x.word, x.flag) for x in psg.lcut(content)])

# 获取分词结果中词列表的 top n
top5 = Counter(segs_5).most_common(5)
print(top5)

# 自定义添加词和字典
# 默认情况下,使用默认分词,是识别不出这句话中的“铁甲网”这个新词,这里使用用户字典提高分词准确性。
txt = "铁甲网是中国最大的工程机械交易平台。王者荣耀是一款游戏。"
print(jieba.lcut(txt))
# 如果添加一个词到字典,看结果就不一样了
jieba.add_word("铁甲网")
print(jieba.lcut(txt))
# 但是,如果要添加很多个词,一个个添加效率就不够高了,这时候可以定义一个文件,
# 然后通过 load_userdict()函数,加载自定义词典
jieba.load_userdict('xxx\\user_dict.txt')
print(jieba.lcut(txt))

原文链接:
https://soyoger.blog.csdn.net/article/details/108729415

你可能感兴趣的:(中文自然语言处理,python,nlp,中文自然语言处理,jieba,分词)