cmd hadoop 不能运行_大数据技术之Hadoop（MapReduce）第1章 MapReduce概述

本章大纲

本章大纲

1.1 MapReduce定义

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

1.2 MapReduce优缺点

1.2.1 优点

1.MapReduce 易于编程

它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。

2.良好的扩展性

当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

3.高容错性

Mapreduce的设计初衷就是使程序能够部署在廉价的pc机器上，这就要求它具有很高的容错性。比如一个机器挂了，它可以把上面的计算任务转移到另一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由hadoop内部完成的。

4.适合PB级以上海量数据的离线处理

1.2.2 缺点

1.不擅长实时计算

Mapreduce无法做到像Mysql那样做到毫秒或者秒级的返回结果。

2.不擅长流式计算

流式计算的输入数据是动态的，而Mapreduce的输入数据集是静态的，不能流态变化。这是Mapreduce自身的设计特点决定了数据源必须是静态的。

3.不擅长DAG(有向图)计算

多个应用程序存在依赖关系，后一个应用程序的输入为前一个应用程序的输出，在这种情况下，Mapreduce并不是不能做，而是使用后每个Mapreduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常低下。

1.3 MapReduce核心思想

MapReduce核心思想

1)分布式的运算程序往往需要分成至少2个阶段。2)第一个阶段的MapTask并发实例，完全并行运行，互不相干。3)第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

总结：分析WordCount数据流走向深入理解MapReduce核心思想。

1.4 MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程：

1)MrAppMaster：负责整个程序的过程调度及状态协调。2)MapTask：负责Map阶段的整个数据处理流程。3)ReduceTask：负责Reduce阶段的整个数据处理流程。

1.5 官方WordCount源码

采用反编译工具反编译源码，发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型。

1.6 常用数据序列化类型

常用的数据类型对应的Hadoop数据序列化类型

1.7 MapReduce编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。

1.Mapper阶段

(1)用户自定义的Mapper要继承自己的父类(2)Mapper的输入数据是KV对的形式(KV的类型可自定义)(3)Mapper中的业务逻辑写在map()方法中(4)Mapper的输出数据是KV对的形式(KV的类型可自定义)(5)map()方法(MapTask进程)对每一个调用一次

2.Reducer阶段：

(1)用户自定义的Reducer要继承自己的父类(2)Reducer的输入数据类型对应Mapper的输出数据类型，也是KV(3)Reducer 的业务逻辑写在reduce()方法中(4)ReduceTask进程对每一组相同K的组调用一次reduce()方法

3.Driver阶段：

相当于YARN集群的客户端，用于提交我们整个程序的YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象

1.8 WordCount案例实操

1.需求

在给定的文本文件中统计输出每一个单词出现的总次数

(1)输入数据

wang wangss1 ss1cls1 cls1jiao2banzhang2xue1hadoop2

(2)期望输出数据

wang 2banzhang2 1cls1 2hadoop2 1jiao2 1ss1 2xue1 1

2.需求分析

按照MapReduce编程规范，分别编写Mapper，Reducer，Driver

MapReduce编程步骤

3.环境准备

(1)创建maven工程

创建maven工程

创建maven工程

(2)在pom.xml文件中添加如下依赖

junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.7.2org.apache.hadoophadoop-client2.7.2org.apache.hadoophadoop-hdfs2.7.2

(2)在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.properties

log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%nlog4j.appender.logfile=org.apache.log4j.FileAppenderlog4j.appender.logfile.File=target/spring.loglog4j.appender.logfile.layout=org.apache.log4j.PatternLayoutlog4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.编写程序

(1)编写Mapper类

package com.wanghui.mapreduce;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class WordcountMapper extends Mapper{Text k = new Text();IntWritable v = new IntWritable(1);@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {// 1 获取一行String line = value.toString();// 2 切割String[] words = line.split(" ");// 3 输出for (String word : words) {k.set(word);context.write(k, v);}}}

(2)编写Reducer类

package com.wanghui.mapreduce.wordcount;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class WordcountReducer extends Reducer{int sum;IntWritable v = new IntWritable();@Overrideprotected void reduce(Text key, Iterable values,Context context) throws IOException, InterruptedException {// 1 累加求和sum = 0;for (IntWritable count : values) {sum += count.get();}// 2 输出       v.set(sum);context.write(key,v);}}

(3)编写Driver驱动类

package com.wanghui.mapreduce.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordcountDriver {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {// 1 获取配置信息以及封装任务Configuration configuration = new Configuration();Job job = Job.getInstance(configuration);// 2 设置jar加载路径job.setJarByClass(WordcountDriver.class);// 3 设置map和reduce类job.setMapperClass(WordcountMapper.class);job.setReducerClass(WordcountReducer.class);// 4 设置map输出job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);// 5 设置最终输出kv类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);// 6 设置输入和输出路径FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));// 7 提交boolean result = job.waitForCompletion(true);System.exit(result ? 0 : 1);}}

5.本地测试

(1)如果电脑系统是win7的就将win7的hadoop jar包解压到非中文路径，并在Windows环境上配置HADOOP_HOME环境变量。如果是电脑win10操作系统，就解压win10的hadoop jar包，并配置HADOOP_HOME环境变量。注意：win8电脑和win10家庭版操作系统可能有问题，需要重新编译源码或者更改操作系统。(2)在Idea上运行程序

6.集群上测试

(0)用maven打jar包，需要添加的打包插件依赖

注意：标记红颜色的部分需要替换为自己工程主类

maven-compiler-plugin2.3.21.81.8maven-assembly-plugin jar-with-dependenciescom.wanghui.mr.WordcountDrivermake-assemblypackagesingle

(1)将程序打成jar包，然后拷贝到Hadoop集群中

(2)启动Hadoop集群

(3)执行WordCount程序

[wanghui@hadoop102 software]$ hadoop jar  wc.jar com.wanghui.wordcount.WordcountDriver /user/wanghui/input /user/wanghui/output

本章小结

本章小结

喜欢就关注我吧，长期更新。