MapReduce被广泛应用于日志分析、海量数据排序、在海量数据中查找特定模式等场景中。
在Hadoop中,每个MapReduce任务都被初始化为一个Job。
每个Job又可以分为两个阶段:Map阶段和Reduce阶段。这两个阶段分别用Map函数和Reduce函数来表示。
Map函数接收一个
InputSplit是Hadoop中用来把输入数据传送给每个单独的Map,InputSplit存储的并非数据本身,而是起始位置、分片长度和一个记录数据所在主机的数组。生成InputSplit的方法可以通过InputFormat()来设置。当数据传送给Map时,Map会将输入分片传送到InputFormat()上,InputFormat调用getRecordReader()方法生成RecordReader,RecordReader在通过creatKey()、createValue()方法将InputSplit创建成可供Map处理的
InputFormat
BaileyBorweinPlouffe.BbpInputFormat
ComposableInputFormat
CompositeInputFormat
DBInputFormat
DistSum.Machine.AbstractInputFormat
FileInputFormat
CombineFileInputFormat
KeyValueTextInputFormat
NLineInputFormat
SequenceFileInputFormat
TeraInputFormat
TextInputFormat
TextInputFormat是Hadoop默认的输入方式。在TextInputFormat中,每个文件(或其一部分)都会单独作为Map的输入,而这是继承自FileInputFormat的。之后,每行数据都会生成一条记录,每条记录则表示成
key值是每个数据记录在数据分片中的字节偏移量,数据类型是LongWritable;
value值是每行的内容,数据类型是Text。
如:
file1:
0 hello world bye world
file2:
0 hello hadoop bye hadoop
两个文件都会被单独输入到一个Map中,因此它们的值都是0。
默认的输出格式是TextOutputFormat,每条记录以一行的形式存入文本文件,键和值是任意形式的,程序内部调用toString()方法将键和值转换为String类型再输出。
public class WordCountMapper extends Mapper{
protected void map(LongWritable key, Text value,Context context)
throws IOException, InterruptedException {
String[] words = StringUtils.split(value.toString(), ' ');
for(String w :words){
context.write(new Text(w), new IntWritable(1));
}
}
}
public class WordCountReducer extends Reducer{
protected void reduce(Text key, Iterable values,Context context)
throws IOException, InterruptedException {
int sum =0;
for(IntWritable i: values){
sum=sum+i.get();
}
arg2.write(key, new IntWritable(sum));
}
}
public class RunJob {
public static void main(String[] args) {
Configuration config =new Configuration();
// config.set("fs.defaultFS", "hdfs://node1:8020");
// config.set("yarn.resourcemanager.hostname", "node1");
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
try {
FileSystem fs =FileSystem.get(config);
Job job =Job.getInstance(config);
job.setJarByClass(RunJob.class);
job.setJobName("wc");
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path("/usr/input/"));
Path outpath =new Path("/usr/output/wc");
if(fs.exists(outpath)){
fs.delete(outpath, true);
}
FileOutputFormat.setOutputPath(job, outpath);
boolean f= job.waitForCompletion(true);
if(f){
System.out.println("job completion");
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
1、Reduce Task的数量可以由程序指定,当存在多个Reduce Task时,每个Reduce会搜集一个或多个key值。当存在多个Reduce Task时,每个Reduce Task都会生成一个输出文件;
2、没有Reduce任务的时候,系统会直接将Map的输出结果作为最终结果,有多少个Map就有多少个输出。
如何完成这个任务,怎么能让程序运行的更快。
MapReduce计算模型的优化主要集中在两个方面:计算性能方面;IO操作方面。
1、任务调度;
计算方面:优先将任务分配给空闲机器;
IO方面:尽量将Map任务分配给InputSplit所在的机器。
2、数据预处理与InputSplit的大小
MapReduce擅长处理少量的大数据,在处理大量的小数据时性能会很逊色。
因此在提交MapReduce任务前可以先对数据进行一次预处理,将数据合并以提高MapReduce任务的执行效率。
另一方面是参考Map任务的运行时间,当一个Map任务只需要运行几秒就可以结束时,就需要考虑是否应该给它分配更多的数据。通常而言,一个Map任务的运行时间在一分钟左右比较合适。
在FileInputFormat中(除了CombineFileInputFormat),Hadoop会在处理每个Block后将其作为一个InputSplit,因此合理地设置block块大小是很重要的调节方式。
3、Map和Reduce任务的数量
Map/Reduce任务槽:集群能够同时运行的Map/Reduce任务的最大数量。
如100台机器,每台最多同时运行10个Map和5个Reduce,则Map任务槽为1000,Reduce任务槽为500。
设置Map任务的数量主要参考的是Map的运行时间,设置Reduce任务的数量主要参考的是Reduce槽的数量。
Reduce任务槽的0.95倍,如果一个Reduce任务失败,可以很快找到一个空闲的机器重新执行;
Reduce任务槽的1.75倍,执行快的机器可以获得更多的Reduce任务,因此可以使负载更加均衡,以提高任务的处理速度。
用于本地合并数据,以减少网络IO操作的消耗。
合理的设计combine函数会有效减少网络传输的数据量,提高MapReduce的效率。
job.setCombinerClass(combine.class);
在WordCount中,可以指定Reduce类为combine函数:
job.setCombinerClass(Reduce.class);
5、压缩
可以选择对Map的输出和最终的输出结果进行不同压缩方式的压缩。
在一些情况下,Map的中间输出可能会很大,对其进行压缩可以有效地减少网络上的数据传输量。
6、自定义comparator
自定义Hadoop数据类型时,推荐自定义comparator来实现数据的比较,这样可以省去数据序列化和反序列化的时间,提高程序的运行效率。