WEKA将英文文本数据集转换成ARFF格式

摘自：http://blog.163.com/jiayouweijiewj@126/blog/static/1712321772011113102710492/


利用Weka转化英文文本数据需要用到两个工具：TextDirectoryToArff和TextDirectoryLoader。
TextDirectoryToArff是一个JAVA类（Class），它负责将一个目录文件中的文本数据转换到一个ARFF文件中。
TextDirectoryLoader是一个转换器（Converter），它是基于TextDirectoryToArff类的，并且处于weka.core.converters包中。
首先，转换之前，需要将文本数据集按照TextDirectoryLoader转换器所要求形式布局：一个文件夹自己命名（例如：20news），其中一类一个文件夹，文件夹名字是类标签，每类文件夹里一篇文档是一个文件。

其次，将文件夹（20news）放置在weka根目录下，利用Weka的命令行界面（Simple CLI）输入以下命令：
java weka.core.converters.TextDirectoryLoader -dir 20news > 20news.arff

之后会在Weka根目录下生成了一个20news.arff文件，这说明文本数据已经成功地转换成了Weka需要的ARFF文件。
从20news.arff文件内容可以发现20news文件夹下的子文件夹名变成了每个文档的类标记。

该方法对于中文文本数据不适用，生成的ARFF中的中文会变成乱码，需要修改Weka的源码才能实现对中文文本数据的处理。