mahout 0.9 + hadoop 1.0.2 实现中文文本聚类

近来一直致力于实现mahout 0.9 的中文文本聚类,网上关于mahout 0.9 的英文文本聚类实现资料较为丰富,这里不再赘述。

遇到的问题是:mahout 0.9在处理中文时默认的分词器是 StandardAnalyzer, 其会将中文按单字分词,显然不符合我们的期望。

我们需要添加自己的分词工具,这里使用mmseg4j,它可支持lucene 4.6.1。

首先,修改mahout源码中examples目录下的pom.xml配置文件,添加依赖Jar包mmseg4j

添加代码:


    com.chenlb.mmseg4j
    mmseg4j-solr
    2.0.0

接着,将mahout源码examples导入到maven project中,maven会自动下载所需Jar包,不报错的情况下,Run As -> maven install,会在项目target文件夹中生成新的Jar包。

最后,用新Jar包替换mahout原Jar包,重新运行mahout相关命令。

注:在运行seq2sparse命令时,指定分词器

-a com.chenlb.mmseg4j.analysis.SimpleAnalyzer

还可以选择 ComplexAnalyzer or MaxWordAnalyzer

——————————————————————————————————————————————————

默认条件:

linux + eclipse + maven插件 + hadoop

知道如何使用maven,并知道如何将mahout源码导入到maven project 中

__________________________________________________________________________________________

参考资料链接:

http://my.oschina.net/u/1047640/blog/262468

http://blog.csdn.net/authorzhh/article/details/7904560



你可能感兴趣的:(Mahout,&,Maven)