常见中文分词开源项目

 

SCWS

　　Hightman开发的一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的切分成词。采用的是采集的词频词典，并辅以一定的专有名称，人名，地名，数字年代等规则识别来达到基本分词，经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。45Kb左右的文本切词时间是0.026秒，大概是1.5MB文本/秒，支持PHP4和 PHP 5。

 

ICTCLAS

　　这可是最早的中文开源分词项目之一，ICTCLAS在国内973 专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名。ICTCLAS3.0分词速度单机 996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M.ICTCLAS全部采用C/C++编写，支持Linux、 FreeBSD及Windows系列操作系统，支持C/C++、C#、Delphi、Java等主流的开发语言。

 

HTTPCWS

　　HTTPCWS 是一款基于HTTP协议的开源中文分词系统，目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0 2009共享版中文分词算法”的API进行分词处理，得出分词结果。HTTPCWS 将取代之前的 PHPCWS 中文分词扩展。　　庖丁解牛分词：　　Java 提供lucence 接口，仅支持Java语言。

 

CC-CEDICT

　　一个中文词典开源项目，提供一份以汉语拼音为中文辅助的汉英辞典，截至2009年2月8 日，已收录82712个单词。其词典可以用于中文分词使用，而且不存在版权问题。Chrome中文版就是使用的这个词典进行中文分词的。

 

IK

　　IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从 2006年12月推出1.0版开始，IKAnalyzer 已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对 Lucene的默认优化实现。

 

Paoding

　　 Paoding （庖丁解牛）基于Java的开源中文分词组件，提供lucene和solr 接口，具有极 高效率 和高扩展性 。引入隐喻，采用完全的面向对象设计，构思先进。 　　高效率：在PIII 1G内存个人机器上，1秒 可准确分词100万 汉字。 　　采用基于 不限制个数 的词典文件对文章进行有效切分，使能够将对词汇分类定义。 　　能够对未知的词汇进行合理解析

 

MMSEG4J

　　 MMSEG4J 基于Java的开源中文分词组件，提供lucene和solr 接口　　1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。 　　2、MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过虑。官方说：词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

 

扩展阅读：
1.IK http://code.google.com/p/ik-analyzer/
2.Paoding http://code.google.com/p/paoding/
3.MMSEG4J http://code.google.com/p/mmseg4j/