Hadoop-Map/Reduce实现实现倒排索引

先来简单介绍一下什么是文档倒排索引

倒排索引是文档检索系统中最常见的数据结构，被广泛应用在全文搜索引擎上。主要用来存储某个单词（或词组）在一个文档或者一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。

简单点来讲呢，就是根据内容找文章。

 

倒排索引的概念说明白了，就该说说怎么用MapReduce实现。

测试数据奉上：

file1：MapReduce is simple

file2：MapReduce is powerful is simple

file3：Hello MapReduce bye MapReduce 

输出的结果：

Hello    file3.txt:1;

MapReduce    file3.txt:2;file:2.txt:1;file1.txt:1;

bye    file"3.txt:1;

is    file2.txt:2;file1.txt:1; 

powerful    file2.txt:1;

simple    file2.txt:1;file1.txt:1;

 

设计思路

map、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、

context.write("MapReduce:file1", 1)  context.write("is:file1", 1)  context.write("simple:file1", 1)  context.write("MapReduce :file2", 1)  context.write("is:file2", 1)  context.write("powerful :file2", 1) context.write("is:file2", 1) 

 

<"MapReduce:file1", {1}> <"is:file1", {1}> <"simple:file1", {1}>  <"simple:file1", {1}>  <"is:file2",  {1, 1}> ..........................

combine、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、

context.write("MapReduce" , "file1:1") context.write("is" , "file1:1")  context.write("simple" , "file1:1")  context.write("MapReduce " , "file2:1")  context.write("is" , "file2:2")................................

<"MapReduce",{ "file1:1","file2:1"}>  <"is",{ "file1:1","file2:2"}>   <"simple",{ "file1:1"}> .......................

reduce、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、

context.write("MapReduce","file1:1,file2:1")..................................

 

这个过程中的Combine是不可插拔的，也就是不可以省略的，因为它和Reduce的业务逻辑不一样。

 

代码奉上

import java.io.IOException;



import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



public class InvertedIndex {



    public static class InvertedMap extends

            Mapper<LongWritable, Text, Text, IntWritable> {

        private Text kText = new Text();

        private IntWritable vIntWritable = new IntWritable(1);

        private FileSplit split;



        @Override

        protected void map(LongWritable key, Text value, Context context)

                throws IOException, InterruptedException {

            String line = value.toString();

            String[] lineSplit = line.split("\t");

            // 获取文档名称

            split = (FileSplit) context.getInputSplit();

            int indexOfFile = split.getPath().toString().indexOf("file");

            String fileName = split.getPath().toString().substring(indexOfFile);



            for (int i = 0; i < lineSplit.length; i++) {

                kText.set(lineSplit[i] + "：" + fileName);

                context.write(kText, vIntWritable);

            }



        }



    }



    public static class InvertedConbine extends

            Reducer<Text, IntWritable, Text, Text> {

        private Text kText = new Text();

        private Text vText = new Text();



        protected void reduce(Text key, Iterable<IntWritable> values,

                Context context) throws IOException, InterruptedException {

            // 词频统计

            int sum = 0;

            for (IntWritable v : values) {

                sum += v.get();

            }

            int indexOf = key.toString().indexOf("：");

            kText.set(key.toString().substring(0, indexOf));

            vText.set(key.toString().substring(indexOf + 1) + "：" + sum);

            context.write(kText, vText);



        }



    }



    public static class InvertedReduce extends Reducer<Text, Text, Text, Text> {

        private Text vText = new Text();



        protected void reduce(Text key, Iterable<Text> values, Context context)

                throws IOException, InterruptedException {

            String filelist = new String();

            for (Text v : values) {

                filelist += v.toString() + ";";

            }

            vText.set(filelist);

            context.write(key, vText);

        }



    }



    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);



        job.setJarByClass(InvertedIndex.class);



        job.setMapperClass(InvertedMap.class);

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(IntWritable.class);



        job.setCombinerClass(InvertedConbine.class);



        job.setReducerClass(InvertedReduce.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(Text.class);



        FileInputFormat.setInputPaths(job, new Path(args[0]));

        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        

        System.exit(job.waitForCompletion(true)? 0:1);

    }



}