中文分词词库汇总(一)

最近需要对招投标领域的中文词汇进行统计和分析,首选需要分词,分词需要词库。

一、从网上找了不少词库,各有特点,在这里整理一下。词的数量有:4万,5.7万,9.1万,13.3万,15.5万,19.6万,21.3万,21.7万,21.8万,30万。

二、从主流的几个分词工具包中,提取了词库,分别为:

分词工具 词库中词的数量 最后更新时间
jieba 16.6万 2015年
IK 27.5万 2012年
mmseg 15万 2014年
word 64.2万 2015年

这些整理后的词库下载地址:https://download.csdn.net/download/zhaohuakai/10594462

下一篇文章对比一下这些词库的区别

你可能感兴趣的:(中文分词,词库,分词,词库下载,工具)