Lesson4 Hadoop 伪分布模式Yarn的配置及Mapreduce demo程序 WordCount的运行

 一、 Yarn的配置：

1.  配置yarn-env.sh：加入JAVA_HOME。 

2.  配置yarn-site.xml：添加如下内容，将node1改为主机名

 
	yarn.nodemanager.aux-services
	mapreduce_shuffle 



 
	yarn.resourcemanager.hostname
	node1 

3.   配置mapred-env.xml：

 复制文件

cp mapred-site.xml.template mapred-site.xml

在mapred-env.xml中添加以下内容：

 
	mapreduce.framework.name
	yarn 

 二、  启动集群：

1.  启动前必须保证NameNode和DataNode已经启动。

2.  启动ResourceManager：

sbin/yarn-daemon.sh start resourcemanager

3.  启动NodeManager： 

sbin/yarn-daemon.sh start nodemanager

4.  检查：输入 jps 应可以看到程序已启动

 

 输入netstat -lnpt 应看到 8088 号端口已经启动

 输入主机名 + 端口号8088 可以看到如下页面

 三、 运行WordCount程序：

1.  删除之前的输出： 

hdfs dfs -rm -r /user/root/output

2.  运行程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

 可以看到程序处理进程：