分词练习

1.常用的分词工具包

perminusminus
Stanford 汉语分词工具
哈工大语言云
ICTCLAS——
Ansj
庖丁解牛分词
盘古分词
IKAnalyzer
imdict-chinese-analyzer
mmseg4j
FudanNLP(复旦大学)
Jcseg
SCWS
Friso
HTTPCWS
libmmseg
OpenCLAS
CRF++
百度分词工具

2.NLPIR汉语分词系统 VS jieba
2.1NLPIR汉语分词系统

2.1.1简介

NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。
全球用户突破20万，先后获得了2010年钱伟长中文信息处理科学技术奖一等奖，2003年国际SIGHAN分词大赛综合第一名，2002年国内973评测综合第一名。

2.1.2在线分词
本人用的是NLPIR汉语分词系统在线分词，感觉其功能十分丰富，分词也较为准确。

党建经验齐分享 交流总结共进步 ——浙江大学公共管理学院来我院开展党建工作学习交流

分词标注.png

关键字抽取.png

该系统还可以填写网址，直接提取网址内容（以四川大学公共管理学院为例）

词频统计.png

关键字抽取.png

分词标注.png

该分词系统十分方便、简明，功能也十分齐全，即使是从来没有接触过的初学者也可以操作。

2.2 Jieba

• jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
• jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
• jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
• pseg.cut(str1) ##词性标注，标注句子分词后每个词的词性
• jieba.analyse.extract_tags(str1,2)##关键词提取，参数setence对应str1为待提取的文本,topK对应2为返回几个TF/IDF权重最大的关键词，默认值为20
• jieba.tokenize(test_sent) ##Tokenize：返回词语在原文的起始位置

jieba分词有三种模式
下面均以“党建经验齐分享 交流总结共进步 ——浙江大学公共管理学院来我院开展党建工作学习交流”为例
1.全模式——把文本分成尽可能多的词

全模式

2.精确模式——试图将句子最精确地切开，适合文本分析（这对大数据量数据的分词尤为重要）

精确模式.png

3.搜索引擎模式——在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词

搜索引擎.png

从上面我们可以看出，许多不该分的词被分开了，这显然是不对的。所以接下来我们介绍几种可以自己分词的方法。
1.载入词典

开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
词频省略时使用自动计算的能保证分出该词的词频。
使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。

自定义词典.png

词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。

jiaba.png

用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

运行结果.png

运行结果可以看到党建经验、浙江大学公共管理学院等词语都被分出来了，下面也标注了词的词性。
PS：使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。

2.关键词提取
基于 TextRank 算法的关键词抽取

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，接口相同，注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例

以四川大学公共管理学院官网为例

jiaba.py

关键词提取.png

TextRank.png

3.Tokenize：返回词语在原文的起止位置

注意，输入参数只接受 unicode
默认模式

py.png

运行结果.png

搜索模式--把句子中所有的可以成词的词语都扫描出来并确定位置。