分词练习

1、现有的分词工具
中科院计算所NLPIR
ansj分词器
哈工大的LTP
清华大学THULAC
斯坦福分词器
Hanlp分词器
结巴分词
KCWS分词器(字嵌入+Bi-LSTM+CRF)
ZPar
IKAnalyzer
2、MLPIR与jieba的对比
首先，用MLPIR进行线上的分词分析。

分词分析的内容为：

原版文字.png

而用MLPIR分词得出的结果为：

MLPIR分词png

然后用jieba分词的结果为：

jieba源码.png

jieba分词.png

可以看出，MLPIR在分词的同时，把分词结果的词性也同时分离出来，而jieba的分词结果只是单纯的进行了分词；同时，MLPIR与jieba的分词结果也显示了两个分词工具有着不同的词库，例如“六道”在MLPIR的词库中是不存在的，所以它分出了“六”“道”，而jieba这是直接分出了“六道”这个词。
3、jieba分词练习
3.1关键词的提取

源码为：

关键词提取源码.png

运行结果为：

关键词提取结果.png