hadoop自定义InputFormat,OutputFormat输入输出类型

hadoop在进行MapReduce进行处理时，输入输出都是自定义的InputFormat,OutputFormat类。但是，我们在进行数据处理时，常常需要自己定义输入输出结果，因此需要对输入输出进行修改。

InputFormat类有如下类：

TextInputFormat 在文本文件中的每一行均为一个记录。键为一行的字节偏移量，值为一行内容。

KeyValueTextInputFormat在文本文件中的每一行均为一个记录。以每行的第一个分隔符为界，分隔符之前的是键，之后的为值。分离器在属性key.value.separator.in.input.line中设定，默认为制表符(\t)。

SequenceFileInputFormat在读取序列文件的InputFormat。键和值由用户自定义。

NLineInputForma 与TextInputFormat相同，但每个分片一定有N行。N在属性maperd.line.input.format.format.linespermap中设定，默认为1。

在老版本的API中，只要定义如下语句就可以设置，读取的输入类型

JobConf job = new JobConf(conf, MyJob.class);
//对每一行以逗号分割
job.set("key.value.separator.in.input.line", ",");

这样就以每行为一个输入，以逗号进行分隔。

新版API进行如下语句

Configuration conf = new Configuration();
conf.set("key.value.separator.in.input.line", ",");

同理，OutputFormat类似

TextOutputFormat在文本文件中的每一行均为一个记录。以每行的第一个分隔符为界，分隔符之前的是键，之后的为值。分离器在属性mapred.textoutputformat.separator中设定，默认为制表符(\t)。

SequenceFileOutputFormat 以Hadoop专有序列文件格式写入键/值对。

NullOutputFormat无输出

在老版本的API中，只要定义如下语句就可以设置，读取的输入类型

JobConf job = new JobConf(conf, MyJob.class);
//对每一行以逗号分割
job.set("mapred.textoutputformat.separator", "：");

这样就以每行为一个输入，以逗号进行分隔。

新版API进行如下语句

Configuration conf = new Configuration();
conf.set("mapred.textoutputformat.separator", "：")

这样输出结果就不是默认的制表符了，而是: