weka文本聚类（2）--分词和停用词处理

   weka本身自带英文分词，没有自带中文分词，因此需要自己进行中文分词。可以通过继承Tokenizer，并覆盖里面的方法，如下：

public String globalInfo()

public boolean hasMoreElements()

public String nextElement()

public void tokenize(String s)

public String getRevision()

相应的实现也能很快在百度中找到。我个人感觉这些太麻烦，现在的分词工具调用起来非常方便，因此也就没有继承Tokenizer去完成。我使用的是Ansj文词工具，是孙健大神 基于中科院的 ictclas 中文分词算法实现的，非常好用。Ansj作为分词工具，并没有提供停用词，但是里面考虑到了停用词的需要，可以构造 Ansj工具包中l的FilterRecognition实现去除停用词的功能。下面是Ansj工具和停用词的链接：

链接: https://pan.baidu.com/s/1slhjUtJ 密码: qsd6