Mahout文本聚类学习之DocumentProcessor类

        做为文本聚类实现的第一步对语料分词是必须的，而documentprocessor类提供了一个基于mapreduce对大量数据集分词的高效灵活的实现。高效是其基于mapreduce分布式计算框架，灵活是其提供了可扩展的分词接口可以对多种语言分词的支持。

　　下面就要深入一下类内部的流程进行学习：documentprocessor类，它只提供了一个静态方法tokenizeddocuments();

tokenizeddocuments(path, class<? extends analyzer>, path, configuration);

　　参数中设置了输入文件的路径，也就是前一步生成的文档集的序列文件；另一个是继承了lucene analyzer抽象类的一个子类，用于分词功能的扩展；第三个就是分词的输出路径；最后一个就是job的一个configruation对象。

 1 public static void tokenizedocuments(path input,  2                                        class<? extends analyzer> analyzerclass,  3  path output,  4  configuration baseconf)  5     throws ioexception, interruptedexception, classnotfoundexception {  6     configuration conf = new configuration(baseconf);  7     // this conf parameter needs to be set enable serialisation of conf values
 8     conf.set("io.serializations", "org.apache.hadoop.io.serializer.javaserialization,"
 9                                   + "org.apache.hadoop.io.serializer.writableserialization"); 10     //对分词的类进行设置，到时会直接实例化分词类的对象
11  conf.set(analyzer_class, analyzerclass.getname()); 12     job job = new job(conf); 13     job.setjobname("documentprocessor::documenttokenizer: input-folder: " + input); 14     job.setjarbyclass(documentprocessor.class); 15     //输出键值为text做为文档的唯一标识
16     job.setoutputkeyclass(text.class); 17     //stringtuple对象中有一个list<string>对象，可以理解为分词后将文档存储为词组的序列
18     job.setoutputvalueclass(stringtuple.class); 19  fileinputformat.setinputpaths(job, input); 20  fileoutputformat.setoutputpath(job, output); 21     //sequencefiletokenizermapper是分词核心类
22     job.setmapperclass(sequencefiletokenizermapper.class); 23     job.setinputformatclass(sequencefileinputformat.class); 24     job.setnumreducetasks(0); 25     job.setoutputformatclass(sequencefileoutputformat.class); 26     //运行job前删除已经存在的目录
27  hadooputil.delete(conf, output); 28     //将job提交到hadoop集群并等待其结束 
29     boolean succeeded = job.waitforcompletion(true); 30     if (!succeeded) 31       throw new illegalstateexception("job failed!"); 32 
33   }

下面对seqencefiletokenizermapper进行分析

 1 public class sequencefiletokenizermapper extends mapper<text, text, text, stringtuple> {  2 
 3   private analyzer analyzer;  4 
 5  @override  6   protected void map(text key, text value, context context) throws ioexception, interruptedexception {  7       //调用分词提供的方法对value也就是文本正文的内容进行分词处理
 8     tokenstream stream = analyzer.reusabletokenstream(key.tostring(), new stringreader(value.tostring()));  9     chartermattribute termatt = stream.addattribute(chartermattribute.class); 10     stringtuple document = new stringtuple(); 11  stream.reset(); 12     while (stream.incrementtoken()) { 13       if (termatt.length() > 0) { 14          //把词组加入stringtuple
15         document.add(new string(termatt.buffer(), 0, termatt.length())); 16  } 17  } 18  context.write(key, document); 19  } 20 
21  @override 22   protected void setup(context context) throws ioexception, interruptedexception { 23     super.setup(context); 24     //map任务开始时会从context中取出configuration对象，解析出分词组件的名称并生成对象的实例
25     analyzer = classutils.instantiateas(context.getconfiguration().get(documentprocessor.analyzer_class, 26                                                                        defaultanalyzer.class.getname()), 27                                         analyzer.class); 28  } 29 }

输入输出数据结构总结：输入数据结构sequencefile形式存储的文件键值为<text, text>；输出数据结构为sequencefile形式存储，文件的键值为<text, stringtuple>。