mmseg4j 1.6支持最多分词,应网友的要求:分词效果与 paoding 对比下。观察了 paoding 部分分词结果,现总结下。
paoding 分词效果:
- --------------------------
- 清华大学
- 清华 | 大 | 华大 | 大学 |
- --------------------------
- 华南理工大学
- 华南 | 理工 | 大 | 大学 |
- --------------------------
- 广东工业大学
- 广东 | 工业 | 大 | 业大 | 大学 |
- --------------------------
- 西伯利亚
- 西伯 | 伯利 | 西伯利亚 |
- --------------------------
- 研究生命起源
- 研究 | 研究生 | 生命 | 起源 |
- --------------------------
- 为首要考虑
- 为首 | 首要 | 考虑 |
- --------------------------
- 化装和服装
- 化装 | 和服 | 服装 |
- --------------------------
- 中国人民银行
- 中国 | 国人 | 人民 | 银行 |
- --------------------------
- 中华人民共和国
- 中华 | 华人 | 人民 | 共和 | 共和国 |
- --------------------------
- 羽毛球拍
- 羽毛 | 羽毛球 | 球拍 |
- --------------------------
- 人民币
- 人民 | 人民币 |
- --------------------------
- 很好听
- 很好 | 好听 |
- --------------------------
- 下一个
- 下一 | 一个 |
- --------------------------
- 为什么
- 为什么 |
- --------------------------
- 北京首都机场
- 北京 | 首都 | 机场 |
- --------------------------
- 东西已经拍卖了
- 东西 | 已经 | 拍卖 | 卖了 |
- --------------------------
- 主人因之生气
- 主人 | 生气 |
- --------------------------
- 虽然某些动物很凶恶
- 动物 | 凶恶 |
- --------------------------
- 朋友真背叛了你了
- 朋友 | 真 | 背叛 |
- --------------------------
- 建设盒蟹社会
- 建设 | 盒蟹 | 社会 |
- --------------------------
- 建设盒少蟹社会
- 建设 | 盒少 | 少蟹 | 社会 |
- --------------------------
- 我们家门前的大水沟很难过。
- 我们 | 家门 | 前 | 门前 | 前的 | 大 | 大水 | 水沟 | 很难 | 难过 |
- --------------------------
- 罐头不如果汁营养丰富。
- 罐头 | 不如 | 如果 | 果汁 | 营养 | 丰富 |
- --------------------------
- 今天真热,是游泳的好日子。
- 今天 | 天真 | 热 | 游泳 | 日子 | 好日子 |
- --------------------------
- 妹妹的数学只考十分,真丢脸。
- 妹妹 | 数学 | 只考 | 十分 | 真 | 丢脸 |
- --------------------------
- 我做事情,都是先从容易的做起。
- 做事 | 事情 | 都是 | 先从 | 从容 | 容易 | 容易的 | 做起 |
- --------------------------
- 老师说明天每个人参加大队接力时,一定要尽力。
- 老师 | 师说 | 说明 | 明天 | 每个 | 个人 | 人参 | 参加 | 大 | 加大 | 大队 | 接力 | 时 | 一定 | 定要 | 要尽 | 尽力 |
- --------------------------
- 小明把大便当作每天早上起床第一件要做的事
- 小明 | 大 | 大便 | 便当 | 当作 | 每天 | 早上 | 上起 | 起床 | 床第 | 第一 | 一件 | 要做 | 做的 | 的事 |
mmseg4j maxword 分词效果:
- --------------------------
- 清华大学
- 清华 | 大学 |
- --------------------------
- 华南理工大学
- 华南 | 理工 | 工大 | 大学 |
- --------------------------
- 广东工业大学
- 广东 | 工业 | 大学 |
- --------------------------
- 西伯利亚
- 西 | 伯利 | 利亚 |
- --------------------------
- 研究生命起源
- 研究 | 生命 | 起源 |
- --------------------------
- 为首要考虑
- 为首 | 要 | 考虑 |
- --------------------------
- 化装和服装
- 化装 | 和 | 服装 |
- --------------------------
- 中国人民银行
- 中国 | 国人 | 人民 | 银行 |
- --------------------------
- 中华人民共和国
- 中华 | 华人 | 人民 | 共和 | 国 |
- --------------------------
- 羽毛球拍
- 羽毛 | 球拍 |
- --------------------------
- 人民币
- 人民 | 币 |
- --------------------------
- 很好听
- 很好 | 好听 |
- --------------------------
- 下一个
- 下一 | 一个 |
- --------------------------
- 为什么
- 为 | 什么 |
- --------------------------
- 北京首都机场
- 北京 | 首都 | 机场 |
- --------------------------
- 东西已经拍卖了
- 东西 | 已经 | 拍卖 | 了 |
- --------------------------
- 主人因之生气
- 主人 | 因 | 之 | 生气 |
- --------------------------
- 虽然某些动物很凶恶
- 虽然 | 某些 | 动物 | 很 | 凶恶 |
- --------------------------
- 朋友真背叛了你了
- 朋友 | 真 | 背叛 | 了 | 你了 |
- --------------------------
- 建设盒蟹社会
- 建设 | 盒 | 蟹 | 社会 |
- --------------------------
- 建设盒少蟹社会
- 建设 | 盒 | 少 | 蟹 | 社会 |
- --------------------------
- 我们家门前的大水沟很难过。
- 我们 | 家 | 门前 | 的 | 大水 | 水沟 | 很难 | 过 |
- --------------------------
- 罐头不如果汁营养丰富。
- 罐头 | 不如 | 果汁 | 营养 | 丰富 |
- --------------------------
- 今天真热,是游泳的好日子。
- 今天 | 天真 | 热 | 是 | 游泳 | 的 | 好 | 日子 |
- --------------------------
- 妹妹的数学只考十分,真丢脸。
- 妹妹 | 的 | 数学 | 只 | 考 | 十分 | 真 | 丢脸 |
- --------------------------
- 我做事情,都是先从容易的做起。
- 我做 | 事情 | 都是 | 先 | 从容 | 易 | 的 | 做起 |
- --------------------------
- 老师说明天每个人参加大队接力时,一定要尽力。
- 老师 | 师说 | 明天 | 每个 | 个人 | 参加 | 大队 | 接力 | 时 | 一定 | 要 | 尽力 |
- --------------------------
- 小明把大便当作每天早上起床第一件要做的事
- 小明 | 把 | 大便 | 当作 | 每天 | 早上 | 起床 | 第一 | 一件 | 要做 | 的 | 事 |
paoding 几乎把所有的子词都拆出来,有时候还有最长的词,还没搞懂“华南理工大学”会分出“大”;mmseg4j 的 maxword 是在 complex分词后的结果再把子词都拆出来(1.6版按二元,不是词的去掉或保存单字。下一版本可能方式有点不同,“为什么”不应该为“为|什么”,也即是三个字的前后不是词的应该不分,有待研究,:))。
如“化装和服装” mmseg4j 的 complex是可以较好的分出来(“化装 | 和 | 服装”),而 paoding 少了字频的信息,比较难到这事。mmseg4j complex 也有个缺点:“都是先从容易的做起” 不能把“容易”分出来,这是因为 mmseg 算法是用 3 个chunk的原因,我认为把整句的 chunk (还是仅仅3个chunk)来处理的话,分词效果要好),当然要更多的开销,选3个可能是效果与性能平衡吧。
mmseg4j 没有加任何 stopword,这东西留给使用者自己加,因为我不认为加 stopword 是好的方法。如音乐搜索,给加上 the,this……,还能找到歌曲?
当然分词效果还与词库有关,sogou 的词库是统计得出,有些高频的单字组合也成了词,如“我们的”。如果还要提高 mmseg4j 的分词效果,还要在整理下词库。
当前几个主要的Lucene中文分词器的比较
作者:唐福林 来源:福林雨 博客 酷勤网收集 2009-08-04
1. 基本介绍:
paoding :Lucene中文分词“庖丁解牛” Paoding Analysis
imdict :imdict智能词典所采用的智能中文分词程序
mmseg4j : 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器
ik :采用了特有的“正向迭代最细粒度切分算法“,多子处理器分析模式
2. 开发者及开发活跃度:
paoding :qieqie.wang, google code 上最后一次代码提交:2008-06-12,svn 版本号 132
imdict :XiaoPingGao, 进入了 lucene contribute,lucene trunk 中 contrib/analyzers/smartcn/ 最后一次提交:2009-07-24,
mmseg4j :chenlb2008,google code 中 2009-08-03 (昨天),版本号 57,log为:mmseg4j-1.7 创建分支
ik :linliangyi2005,google code 中 2009-07-31,版本号 41
3. 用户自定义词库:
paoding :支持不限制个数的用户自定义词库,纯文本格式,一行一词,使用后台线程检测词库的更新,自动编译更新过的词库到二进制版本,并加载
imdict :暂时不支持用户自定义词库。但 原版 ICTCLAS 支持。支持用户自定义 stop words
mmseg4j :自带sogou词库,支持名为 wordsxxx.dic, utf8文本格式的用户自定义词库,一行一词。不支持自动检测。 -Dmmseg.dic.path
ik : 支持api级的用户词库加载,和配置级的词库文件指定,无 BOM 的 UTF-8 编码,/r/n 分割。不支持自动检测。
4. 速度(基于官方介绍,非自己测试)
paoding :在PIII 1G内存个人机器上,1秒 可准确分词 100万 汉字
imdict :483.64 (字节/秒),259517(汉字/秒)
mmseg4j : complex 1200kb/s左右, simple 1900kb/s左右
ik :具有50万字/秒的高速处理能力
5. 算法和代码复杂度
paoding :svn src 目录一共1.3M,6个properties文件,48个java文件,6895 行。使用不用的 Knife 切不同类型的流,不算很复杂。
imdict :词库 6.7M(这个词库是必须的),src 目录 152k,20个java文件,2399行。使用 ICTCLAS HHMM隐马尔科夫模型,“利用大量语料库的训练来统计汉语词汇的词频和跳转概率,从而根据这些统计结果对整个汉语句子计算最似然(likelihood)的切分”
mmseg4j : svn src 目录一共 132k,23个java文件,2089行。MMSeg 算法 ,有点复杂。
ik : svn src 目录一共6.6M(词典文件也在里面),22个java文件,4217行。多子处理器分析,跟paoding类似,歧义分析算法还没有弄明白。
6. 文档
paoding :几乎无。代码里有一些注释,但因为实现比较复杂,读代码还是有一些难度的。
imdict : 几乎无。 ICTCLAS 也没有详细的文档,HHMM隐马尔科夫模型的数学性太强,不太好理解。
mmseg4j : MMSeg 算法 是英文的,但原理比较简单。实现也比较清晰。
ik : 有一个pdf使用手册,里面有使用示例和配置说明。
7. 其它
paoding :引入隐喻,设计比较合理。search 1.0 版本就用的这个。主要优势在于原生支持词库更新检测。主要劣势为作者已经不更新甚至不维护了。
imdict :进入了 lucene trunk,原版 ictclas 在各种评测中都有不错的表现,有坚实的理论基础,不是个人山寨。缺点为暂时不支持用户词库。
mmseg4j : 在complex基础上实现了最多分词(max-word),但是还不成熟,还有很多需要改进的地方。
ik : 针对Lucene全文检索优化的查询分析器IKQueryParser
8. 结论
个人觉得,可以在 mmseg4j 和 paoding 中选一个。关于这两个分词效果的对比,可以参考:
http://blog.chenlb.com/2009/04/mmseg4j-max-word-segment-compare-with-paoding-in-effect.html
或者自己再包装一下,将 paoding 的词库更新检测做一个单独的模块实现,然后就可以在所有基于词库的分词算法之间无缝切换了。
ps,对不同的 field 使用不同的分词器是一个可以考虑的方法。比如 tag 字段,就应该使用一个最简单的分词器,按空格分词就可以了。