Mapeduce编程八大步骤

1.1:指定读取的文件位于哪里
FileInputFormat.setInputPaths()
指定如何对输入文件进行格式化,把输入文本每一行解析为键值对
job.setInputFormatClass()


1.2:指定自定义的Map类
job.setMapperClass()
//map输出的<k,v>类型,如果<k3,v3>的类型与<k2,v2>类型一致,则可以省略
//job.setMapOutputKeyClass()
//job.setMapOutputValueClass()


1.3:分区
job.setPartitionerClass()
//设置reduce任务个数
//job.setNumReducetasks(1)


1.4:TODO 排序  分组


1.5:规约

job.setCombinerClass()


2.1:指定自定义的Reduce类
job.setReduceClass()
//指定reduce的输出类型
//job.setOutputKeyClass()
//job.setOutputValueClass()


2.2:指定写出的文件位置
FileOutputFormat.setOutputPath()
指定如何对输出文件格式化类型
job.setoutputFormatClass()


2.3:把job提交给JobTracker运行
System.exit(status)

你可能感兴趣的:(mapreduce,编程,hadoop)