MapReduce求最大值

思想:

在map端找出map端的最大值(局部)。map的cleanup方法输出这个最大值,再通过reduce端将map端的局部最大进行比较。求出最终最大的那个值。

怎么样找出map端的最大值?老样子,先看数据!

销售时间	        社保卡号	        商品编码	商品名称	    销售数量	应收金额	 实收金额 
2018-01-01	001616528	236701	强力VC银翘片	6.0	82.8	69.0
2018-01-01	0012697828	861464	复方利血平片(复方降压片)	4.0	10.0	9.4
2018-01-01	0010060654328	861458	复方利血平氨苯蝶啶片(北京降压0号)	1.0	10.3	9.2
2018-01-01	0011811728	861456	酒石酸美托洛尔片(倍他乐克)	1.0	7.0	6.3
2018-01-01	0013448228	861507	苯磺酸氨氯地平片(安内真)	1.0	9.5	8.5

数据准备了两个文件 file1 和file2 这样容易体现最后reduce的作用

需求是计算这个数据片段中的最大值,并输出药品名称和实收金额;

也就是要输出商品的名称和实收金额,并且找出金额最大值的商品

 

package com.hnxy.mr.max;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import com.hnxy.mr.max.MaxWrod.MaxMapper;
import com.hnxy.mr.max.MaxWrod.MaxReducer;

public class MaxWrod3 extends Configured implements Tool {
	public static class MaxMapper extends Mapper {
		private Text outkey = new Text();
		private DoubleWritable outval = new DoubleWritable();
		private Double maxval = 0D;
		private String maxkey = "";
		String[] star = null;

		@Override
		protected void m

你可能感兴趣的:(hadoop)