数据算法 (MapReduce步骤)

//1.设置输入文件Path
Path inputPath = new Path(args[0]);
//2.设置输入文件
FileInputFormat.setInputPaths(job, inputPath);
//3.设置输入文件格式
job.setInputFormatClass(SequenceFileInputFormat.class);
//4.设置map
job.setMapperClass(LocationCountMapper.class);
//5.设置map预排序 
job.setSortComparatorClass();
//6.设置combine :对相同key合并
//7.设置map输出类型
job.setMapOutputKeyClass(CompositeKey.class);
job.setMapOutputValueClass(NaturalValue.class);
//8.设置分区器
job.setPartitionerClass(SecondarySortPartitioner.class);
//9.设置Reducer 
//10.设置分组 :对key排序
//11.设置组内排序 :对相同key的值进行排序
job.setGroupingComparatorClass();
//12.设置输出文件格式
//13.设置输出文件Path
FileOutputFormat.setOutputPath(job, outputPath);
 

你可能感兴趣的:(数据算法)