hadoop实现简单的倒排索引

最近在学习hadoop编程，在大概理解了wordcount之后又接触了一个叫倒排索引的东东，所以就用它来练练手吧！
     

       首先介绍一下什么是倒牌索引！（以下请参考各种百科）.
       倒排索引，索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。由于不是根据文档所包含的内容，而是进行相反的操作，因而称为倒排索引！

      通常情况下倒排索引由一个单词（或词组）以及相关文档的列表组成，文档列表中的文档或者标识文档的ID，或者是指定文档所在位置的URI。在这里我实现了这样一种形式的倒排索引。
     首先是单词在某个目录下出现的总的次数，空格之后是单词，再空格之后是它的文档列表以及在每个文档种出现的次数。

     总的次数      文档1 次数 文档2  次数 文档3   次数。。。。。。

      所采取的策略依然是wordcount，我先对目录下每个文档进行wordcount，但是map输出的key是单词+文件标识也就是文件名，value依然是单词one，reduce阶段在统计。

    当然之前我在主目录下新建了一个目录，然后在里面新建了几个文本文件，随意写入一些单词。

      看代码：

public class InvertedIndexMapper extends
  Mapper<Object, Text, Text, IntWritable> {

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
private FileSplit split;

public void map(Object key, Text value, Context context)
   throws IOException, InterruptedException {

  split=(FileSplit)context.getInputSplit();
  StringTokenizer itr = new StringTokenizer(value.toString(),
    "\t\r\n\f., !");
  while (itr.hasMoreElements()) {
   word.set(itr.nextToken());
   // 输出;
   context.write(new Text(word.toString()+"@"+split.getPath().toString()), one);
  }

}
}
      public class InvertedIndexReducer extends
  Reducer<Text, IntWritable, Text, Text> {

public void reduce(Text key, Iterable<IntWritable> values, Context context)
   throws IOException, InterruptedException {
  int sum=0;
  //得到文件名;
  for(IntWritable val:values){
    sum+=val.get();
  }
Text word=new Text((key.toString()).substring(0,key.toString().indexOf("@")));
context.write(word, new Text(key.toString().substring(key.toString().indexOf("@")+1)+" "+sum));

}

}

public class InvertedIndexMapper extends
  Mapper<Object, Text, Text, IntWritable> {

 private final static IntWritable one = new IntWritable(1);
 private Text word = new Text();
 private FileSplit split;

 public void map(Object key, Text value, Context context)
   throws IOException, InterruptedException {

  split=(FileSplit)context.getInputSplit();
  StringTokenizer itr = new StringTokenizer(value.toString(),
    "\t\r\n\f., !");
  while (itr.hasMoreElements()) {
   word.set(itr.nextToken());
   // 输出;
   context.write(new Text(word.toString()+"@"+split.getPath().toString()), one);
  }

 }
}
      public class InvertedIndexReducer extends
  Reducer<Text, IntWritable, Text, Text> {
 
 public void reduce(Text key, Iterable<IntWritable> values, Context context)
   throws IOException, InterruptedException {
  int sum=0;
  //得到文件名;
  for(IntWritable val:values){
    sum+=val.get();
  }
 Text word=new Text((key.toString()).substring(0,key.toString().indexOf("@")));
 context.write(word, new Text(key.toString().substring(key.toString().indexOf("@")+1)+" "+sum));

 }

}

      之后再进行一个mapreduce将所有的单词组成的文档构成一个列表。

public void map(Object key, Text value, Context context)
  throws IOException, InterruptedException {

String[] strs=value.toString().split("\t");
context.write(new Text(strs[0]),new Text(strs[1]));


}


  public class ListReducer extends Reducer<Text,Text,Text,Text> {

public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{

String res=new String();
//总的次数;
int sum=0;
//将所有的结果输出就可以了;
for(Text val:values){
  //取得次数的值;
  sum+=Integer.parseInt(val.toString().substring(val.toString().lastIndexOf(" ")+1));
  res+=val+"  ";
}

context.write(new Text(String.valueOf(sum)), new Text(key.toString()+" "+res));

}

 public void map(Object key, Text value, Context context)
   throws IOException, InterruptedException {

  String[] strs=value.toString().split("\t");
  context.write(new Text(strs[0]),new Text(strs[1]));
   

 }

}
   public class ListReducer extends Reducer<Text,Text,Text,Text> {
 
 public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{
  
  String res=new String();
  //总的次数;
  int sum=0;
  //将所有的结果输出就可以了;
  for(Text val:values){
   //取得次数的值;
   sum+=Integer.parseInt(val.toString().substring(val.toString().lastIndexOf(" ")+1));
   res+=val+"  ";
  }
  
  context.write(new Text(String.valueOf(sum)), new Text(key.toString()+" "+res));
  
 }

}

      当然我们知道搜索引擎会对于每个单词出现的次数进行排序，但是对于hadoop的排序机制还不是太了解，所以就利用它默认的排序方式做了一个比较坑爹的排序maprduce。

public class RankMapper extends Mapper<Object, Text, Text, Text> {

  public void map(Object key, Text value, Context context)
    throws IOException, InterruptedException {

   String[] line = value.toString().split("\t");

   context.write(new Text(line[0]),new Text(line[1]));


  }

}
public class RankReducer extends Reducer<Text,Text,Text,Text> {

  public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{

   //将所有的结果输出就可以了;
   for(Text val:values){
    context.write(key, val);
   }

  }

}
<span style="font-size: small;">好了就这些，如果后期当然还有很多值得优化的地方，随着学习的深入，还会继续优化！
</span>