大数据之Hadoop(MapReduce):OutputFormat数据输出

目录

  • 1.OutputFormat接口实现类
  • 2.自定义OutputFormat
    • 2.1:使用场景
    • 2.2:自定义OutputFormat步骤:

1.OutputFormat接口实现类

outputFormat是MapReduce输出的基类,所有实现MapReduce输出都实现了OutputFormat接口。下面我们介绍几种
常见的OutputFormat实现类:
1.文本输出TextOutputFormat
默认的输出文本格式是TextOutputFormat,它把每条记录写成文本行。它的值和键可以是任意类型,因为TextOutputFormat调用toString()方法把它们转化为字符串。
2.SequnceFileOutputFormat
将SequnceFileOutputFormat输出作为后续MapReduce任务的输入,这便是一种好的输出格式,因为它的格式紧凑,很容易被压缩。
3.自定义OutputFormat
根据用户需求,自定义实现输出;

2.自定义OutputFormat

2.1:使用场景

为了实现控制最终文件的输出路径和输出格式,可以自定义OutputFormat。
例如:要在一个MapReduce程序种根据数据的不同输出两类结果到不同的目录,这类灵活的输出需求可以通过自定义OutputFormat来实现。

2.2:自定义OutputFormat步骤:

1.自定义一个类继承FileOutputFormat
2.改写RecordWriter,具体改写输出数据的方法Write()。

你可能感兴趣的:(大数据系列一)