hadoop学习笔记---mapreduce的InputFormat

最近看了mapreduce的InputFormat总结一下!!!

看一下InputFormat的用法

Public abstract class InputFormat {

  public abstract List getSplit(JobContext context)throws IOException,InterruptedException;

  public abstract RecordReader CreatRecordReader(InputSplit split,TaskAttemptContext context)throws IOException,InterruptedException;

}

客户端调用getSplit把输入文件分片,计算分片值,提交给JobTracker;

TaskTracker调用CreatRecordReader为这个分片返回一个读取记录的类;

看一下mapper的run方法

public void run(Context context) throws IOException, InterruptedException {
  setup(context);
  while (context.nextKeyValue()) {
    map(context.getCurrentKey(), context.getCurrentValue(), context);
  }
  cleanup(context);

}

首先是setup 初始化的一些工作,然后是while循环把split的每一个k,v送到map函数中,context中的方法其实就是调用了RecordReader中相应的方法。如果想对于分片中的记录自己定义,只需要写一个RecordReader就行。

首mapreduce的输入格式很多,最基本的是File,还有数据库等!

看一下这个图

hadoop学习笔记---mapreduce的InputFormat_第1张图片

FileInputFormat

FileInputFormat是所有处理文件输入的父类

它有一个方法 addInputPath(Job job,Path path)用于设置输入路径。

这个方法还有其他的重载版本!

mapreduce  最常处理的是文本文件!处理文本用的是TextInputFormat

TextInputFormat是InputFormat默认的处理方式,即key是每一行相对于整个文件的偏移量封装在LongWritable中,value是该行的文本内容封装在Text中。

在TextInputFormat中的value一般没什么用,而在一些文件中,文件本身的内容就是一些key value ,例如 mapreduce的输出文件,这时候我们可以用KeyValueTextInputFormat来把文件分开 默认的把Tab作为分隔符,可以用mapreduce.input.keyvaluelinerecordreader.key.value.separator来设置!

NLineInputFormat

如果你不想只把一行作为一条记录,你可以用NLineInputFormat,通过mapduce.input.lineinputformat.linespermap来设置N 这样一条记录中就会用N行!

二进制文件

SequenceFileInputFormat 可以用来处理SequenceFile

数据库

可应用JDBC

推荐使用Sqoop

转载于:https://www.cnblogs.com/bianwenlong/p/3437923.html

你可能感兴趣的:(hadoop学习笔记---mapreduce的InputFormat)