深度学习(2):中文分词(jieba)(Tensorflow)

目录

中文分词的难点

中文分词方法

简单使用

三种分词模式

结巴分词使用

结巴分词使用


目前中文分词一共有三种方式进行实现:
jieba (结巴分词)
THULAC(清华大学自然语言处理与社会人文计算实验室)
pkuseg (北京大学语言计算与机器学习研究组)

中文分词的难点

  1. 分词不规范,词的定义还不明确,容易误分
  2. 歧义切分问题,交集型切分问题,多义组合型切分歧义等,容易找出分出的词语有歧义

中文分词方法

  1. 基于字典、词库匹配的分词方法(基于规则)
  2. 基于词频度统计的分词方法(基于统计)
  3. 基于知识理解的分词方法

简单使用

import jieba

text = "聚焦鲜活农产品主产区、特色农产品优势区,支持建设农产品产地小型仓储保鲜冷链设施,
到2025年,全市新增田间地头冷藏保鲜项目60个以上。市财政对完成项目建设任务的区级政府,
按照每个项目属地财政补助额度的50%,给予不超过50万元的奖励"
word_list = jieba.cut(text)
print(word_list)

 

# 转换为list
print(list(word_list))

 直接使用需要将其转换为list才能看到结果

三种分词模式

① 精确模式:试图将句子最精确地切开,适合文本分析

# 精确模式
word_list = jieba.cut(text,cut_all=False)
print("精准模式分词结果为:" + "/ ".join(word_list)) 

 ② 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义

把词语分的很细,分的不能在分的样子

# 全模式
word_list = jieba.cut(text,cut_all=True)
print("全模式分词结果为:"+"/ ".join(word_list)) 

 ③ 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词 

 • 支持繁体分词

• 支持自定义词典

# 搜索引擎模式
word_list = jieba.cut_for_search(text)
print("搜索引擎模式分词结果为:"+ "/ ".join(word_list))

结巴分词使用

• jieba.cut 方法接受三个输入参数: 需要分词的字符串;cut_all 参数用来控制是否采用全模式;HMM 参数用来控制是否使用 HMM 模型

• jieba.cut_for_search 方法接受两个参数:需要分词的字符串;是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词

• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的generator,可以使用 for 循环来获得分词后得到的每一个词语,或者jieba.lcut 以及 jieba.lcut_for_search 直接返回 list

 使用此方法会直接得到列表,列表里面为已经分好了的词。不需要再次进行转换

word_list = jieba.lcut(text)
print(word_list)

word_list = jieba.lcut_for_search(text)
print(word_list)

结巴分词使用

• 开发者可以指定自己自定义的词典,以便包含 jieba 词库里没有的词

• 用法: jieba.load_userdict(file_name)

• file_name 为文件类对象或自定义词典的路径

• 词典格式:一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒。

• file_name 若为路径或二进制方式打开的文件,则文件必须为 UTF-8编码

深度学习(2):中文分词(jieba)(Tensorflow)_第1张图片

jieba.load_userdict("data.txt")
word_list = jieba.lcut(text)
print(word_list)

 自己定义的词典,可以在分词时不会分开自己定义的词语,如:我不想让”农产品“这三个字分开,就写入词典中并进行加载,拿在之后分词时就不会把这三个字分开了。而没有加载这个词典,jieba就可能会将其分开

你可能感兴趣的:(深度学习,中文分词,自然语言处理,nlp)