Hadoop 系列YARN：资源调度平台（YARN集群配置）

YARN：资源调度平台

 YARN集群配置

 简单配置

yarn-site.xml

       
		yarn.resourcemanger.hosrname>
		node1
		ResourceManager所有节点 
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
		排序服务
	

 mapred-site.xml

	
		mapreduce.framework.name
		yarn
		启动yarn作为资源管理框架	
	

 slave

node1
node2
node3

 需要注意：这个文件是指定子节点的位置，同时也是帮助Yarn指定NodeManager启动的位置。即如果HDFS没有指定slaves的话，将没有DataNode；如果Yarn没有指定slaves的话，将没有NodeManager。

优化配置

YARN参数调优

（1） yarn-site.xm

	 
		 yarn.resourcemanager.scheduler.class
		 org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
	 
       
		yarn.resourcemanger.hosrname>
		node1
		ResourceManager所有节点 
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
		排序服务
	
	
		 yarn.resourcemanager.address
		 node1:8032
		 客户端提交任务的ResourceManager的URI
	 
	 
		 yarn.nodemanager.resource.cpu-vcores
		 10
	 
	 
		 yarn.nodemanager.local-dirs
		 /hadoop/yarn/local
	 
	 
		 yarn.application.classpath
		 $HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/ib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$YARN_HOME/*,$YARN_HOME/lib/*
 	
	 
		 yarn.nodemanager.pmem-check-enabled
		 false
	 
	 
		 yarn.resourcemanager.admin.address
		 node1:8033
		 管理命令的URI
	 
	 
		 yarn.nodemanager.remote-app-log-dir
		 /yarn1/var/log/hadoop-yarn/apps
	 
	 
		 yarn.resourcemanager.resource-tracker.address
		 node1:8031
	 
	 
		 yarn.scheduler.maximum-allocation-mb
		 27648
	 
	 
		 yarn.nodemanager.vmem-check-enabled
		 false
	 
	 
		 yarn.resourcemanager.webapp.address
		 node1:8088
		 ResourceManager的web服务URI
	 
	 
		 yarn.nodemanager.resource.memory-mb
		 27640
	 
	 
		 yarn.nodemanager.aux-services.mapreduce_shuffle.class
		 org.apache.hadoop.mapred.ShuffleHandler
	 
	 
		 yarn.log-aggregation-enable
		 true
	 
	 
		 yarn.scheduler.maximum-allocation-vcores
		 96
	 
	 
		 yarn.resourcemanager.scheduler.address
		 node1:8030
	 
	 
		 yarn.scheduler.minimum-allocation-mb
		 9216
	 
	 
		 yarn.nodemanager.log-dirs
		 /hadoop/yarn/logs
	 

 mapred-site.xml

	
		 mapreduce.map.memory.mb
		 2048
		 map的最大可使用内存
	 
	 
		 mapreduce.map.java.opts
		 -Xmx1228m
		 map的堆内存
	 
	 
		 mapreduce.reduce.memory.mb
		 3072
		 reduce的最大可使用内存
	 
	 
		 mapreduce.reduce.java.opts
		 -Xmx2457m
		 reduce堆内存
	 
	 
		 yarn.app.mapreduce.am.command-opts
		 -Xmx2457m
		 mapreduce的参数
	 
	 
		 mapreduce.task.io.sort.mb
		 614
		 数据排序时的内存大小
	 

	
		mapreduce.framework.name
		yarn
		启动yarn作为资源管理框架	
	

 

转载于:https://www.cnblogs.com/mtime2004/p/10025638.html