【YARN】Hadoop YARN框架搭建

前提

• 搭建Hadoop2.7.3

配置

Yarn架构配置

【mapred-site.xml.temple配置】	
先重命名为mapred-site.xml

	
        mapreduce.framework.name
        yarn # 指定mapreduce基于yarn运行
    



【yarn-site.xml配置】

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle # 指定mapreduce的时候使用shuffle过程
    
	
        yarn.resourcemanager.hostname
        dong-01.cym.com # 指定resourcemanager所在服务器主机名
    


启动：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

本地访问：dong.cym.com:8088

1. 将mapred-site.xml.template拷贝一份

2.配置mapred-site.xml

3.配置yarn-site.xml

4.启动

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

5.本地访问（主机名:8088）

测试（使用yarn跑任务，使用官方案例jar包）

1.统计词频案例执行

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output

2.查看结果

配置日志文件（日志聚合）

【MapReduce historyserver】
1、历史服务器：查看已经运行完成的应用记录
		修改mapred-site.xml
		指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机
		historyserver是一个轻量级的服务，可以部署在任意一台节点上
2、配置（在mapred-site.xml中）：
	注意：这里的端口号不能随便修改
	
	  mapreduce.jobhistory.address
	  bigdata-04:10020
	
	
	  mapreduce.jobhistory.webapp.address
	  bigdata-04:19888	  
	

启动：sbin/mr-jobhistory-daemon.sh start historyserver
【日志聚合功能】
1、修改yarn-site.xml
	指定开启聚合功能
	指定日志存放在HDFS上的时间期限，一般建议3-7天左右，存放在HDFS的/tmp/用户之下
	
		yarn.log-aggregation-enable
		true
	
	
		yarn.log-aggregation.retain-seconds
		106800
	 
2、重启yarn进程

不配置，那么yarn上的history点击无法显示

1.配置mapred-site.xml文件

2.配置yarn-site.xml文件（开启日志聚合）

3.重启yarn

• 为了便于开启和关闭，这里我们在/opt/apps/hadoop-2.7.3/sbin目录下写两个脚本start-all-self.sh和stop-all-self.sh

• 添加可执行权限
  

• 关闭服务
  

• 开启服务

• 还需要开始日志服务

• sbin/mr-jobhistory-daemon.sh start historyserver
  

• 重新跑一个任务，查看日志
  

如果还有问题，检查下服务器防火墙有没有关闭

hdfs下tmp目录的权限问题

• 更改权限
• bin/hdfs dfs -chmod -R 777 /tmp
  

其他（更改yarn界面右上角的用户名）

• 修改core-site.xml文件

• 重启服务，查看