1. MapReduce 统计文件的单词出现的个数
Mapper: 处理具体文本,发送结果
Reducer: 合并各个Mapper发送过来的结果
Job: 制定相关配置,框架
Mapper
package cn.itcast.hadoop.mr.wordcount; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.util.StringUtils; // 4个泛型中,前两个是指定mapper输入数据的类型 // map和 reducer的输入和输出都是key-value对的形式 // 默认情况下。框架输入的我们mapper的输入数据中,key是要处理的文本中的一行的起始偏移量, 内容就是value public class WCMapper extends Mapper{ // 每读一次数据,就调一次这个方法 @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{ //具体业务逻辑就像和在这里, 传入数据就是 key, value //将这一行的内容转化成string类型 String line = value.toString(); // 对这一行的文本按特定分隔符切分 String[] words = StringUtils.split(line, ' '); // 便利这个单词数组, 输出为kv形式 k:单词 v:1 for (String word : words) { context.write(new Text(word), new LongWritable(1)); } } }
Reducer
package cn.itcast.hadoop.mr.wordcount; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class WCReducer extends Reducer{ @Override protected void reduce(Text Key, Iterable values, Context context) throws IOException, InterruptedException { long count = 0; for (LongWritable value:values) { count += value.get(); } context.write(Key, new LongWritable(count)); } }
Job
package cn.itcast.hadoop.mr.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.io.Text; //import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text; public class WCRunner { public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); Job wcJob = Job.getInstance(conf); wcJob.setJarByClass(WCRunner.class); //本job使用的mapper和reducer类 wcJob.setMapperClass(WCMapper.class); wcJob.setReducerClass(WCReducer.class); // 指定reduce的输出数据kv类型 wcJob.setOutputKeyClass(Text.class); wcJob.setOutputValueClass(LongWritable.class); // 指定mapper的输出数据kv类型 wcJob.setMapOutputKeyClass(Text.class); wcJob.setMapOutputValueClass(LongWritable.class); //指定要处理的输入数据存放路径 FileInputFormat.setInputPaths(wcJob, new Path("/wc/srcdata/")); //指定处理结果的输出数据存放路径 FileOutputFormat.setOutputPath(wcJob, new Path("/wc/output")); //将job提交给集群运行 wcJob.waitForCompletion(true); } }
2. Yarn资源调度框架
Resource Manager:
Node Manager:
1. wcJob.waitforCompleition启动一个RunJar进程,这个进程向RM申请执行一个Job 2. RM 返回一个Job相关资源的路径staging-dir,和为Job产生的jobID 3. RunJar提交资源到 HDFS的 staging-dir上 4. RunJar提交资源完毕之后,上报RM 提交资源完毕 5. RM下个Job加入RM中的任务队列中 6. 各个Node Manager通过通信,从RM的任务队列中领取任务 7. 各个Node Manager初始化 运行资源的容器,从staging-dir上面拉取资源 8. RM选择一个Node Manager 启动MRAppMaster 来运行map reducer 9. MRAppMaster向RM注册 10. MSAppMaster启动Mapper任务 11. MSAppMaster启动Reducer任务 12. 任务完成后, 向RM注销自己
3.几种运行模式
本地模型运行
在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器locaJobRunner执行
– 输入输出数据可以放在本地路径下(c:/wc/src/data/)
– 输入输出数据也可以放在hdfs中(hdfs://hadoop1:9000/wc/srcdata)
在linux的ecllipse里面直接运行main 方法,则不需要添加yarn相关的配置,也会提交给localJobRunner执行
– 输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)
– 输入输出数据也可以放在hdfs中(hdfs://hadoop1:9000/wc/srcdata)
集群模式运行
将工程打包成jar包, 上传到服务器,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取一下措施:
– 在工程src目录下加入mapred-site.xml 和yarn-site.xml
– 将工程打成jar包(wc.jar), 同时在main方法中添加一个conf的配置参数 conf.set(“mapreduce.job.jar”, “wc.jar”);
在windows的eclipse中直接运行main方法,也可以提交集群中运行,但是因为平台不兼容,需要做很多的设置修改
– 要在windows中存放一份hadoop的安装包(解压好的)
– 要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
– 再要配置系统环境变量 HDOOP_HOME 和 PATH
– 修改YarnRunner这个类的源码