spacy分词器

spacy分词器介绍

spacy使用的中文jieba分词器，接下来对这个分词器进行简单介绍。

分词算法介绍

结巴中文分词涉及到的算法包括：
(1) 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)；
(2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；
(3) 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。

分词模式介绍

三种分词模式

精确模式：试图将句子中最精确地切开，适合文本分析；
全模式：把句子中所有可能成词的词语都扫描出来，速度很快，但是不能解决歧义的问题；
搜索引擎模式：在精确模式的基础上，对场次再次切分，提高召回率；

import jieba
text = "我是一只小可爱，我喜欢喝汽水"
print("all search")
print(jieba.lcut(text,cut_all=True))
或者：
print([i for i in jieba.cut(text,cut_all=True)])

print("accurate search")
print(jieba.lcut(text,cut_all=False))
或者：
print([i for i in jieba.cut(text,cut_all=False)])

print("search_for_engineer")
print(jieba.lcut_for_search(text))
或者：
print([i for i in jieba.cut_for_search(text)])

可以输出对应的分词结果

自定义词典

基本使用方法：

jieba.load_userdict(filename)

这个filename就是这个我们自定义字典的路径。

关键词提取

基本方法：

jieba.analyse.extract_tags(sentence, topk)

其中sentence表示待提取的文本，topK是返回几个TF/IDF权重最大的关键词，默认值是20；