MapReduce处理日志框架

最近完成了日志处理框架,由于日志也是文本,不需要自定义读取接口(图像需要)。故主要工作就是将日志格式进行解析和对日志要进行什么操作。

在map函数中,调用编写的日志解析接口实现对每一条日志的解析,然后对解析后的日志进行指定的操作。代码如下:

public class Map extends Mapper {
    private IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    public void map(Object key, Text value,  Context context) throws IOException ,InterruptedException {           
    	/*//plan B
    	LogParser LogP=LogParser.parser(value.toString()); //调用解析接口
    	word.set(LogParser.Operation(LogP));  //要进行的操作
    	if (LogP.isValid()) {
        	context.write(word, one);   		
        }*/
    	
    }
}



你可能感兴趣的:(Java学习,hadoop)