Yarn集群规划和搭建

一、hadoop集群搭建

请参考前面几篇博客，下面我们就在前面集群的基础上进行yarn集群搭建。

二、规划

	NN1	NN2	DN	ZK	ZKFC	JNN	RS	NM
node01	√				√	√	√
node02		√	√	√	√	√	√	√
node03			√	√		√		√
node04			√	√				√

三、要修改的配置文件

yarn-site.xml配置

    yarn.nodemanager.aux-services
    mapreduce_shuffle//定义yarn的机制


  	yarn.resourcemanager.ha.enabled//是否使用HA
  	true
 
 
    yarn.resourcemanager.cluster-idcluster1
 
 
    yarn.resourcemanager.ha.rm-ids//集群逻辑节点
    rm1,rm2
 
 
  	 yarn.resourcemanager.hostname.rm1//集群物理节点
     node01
 
 
    yarn.resourcemanager.hostname.rm2//集群物理节点
     node02
 
 
    yarn.resourcemanager.zk-address//与zookeeper通信
    node02:2181,node03:2181,node04:2181
 

mapred-site.xml配置

       
mapreduce.framework.name    
yarn

四、配置免密

同样要配置resourcemanager和nodemanager的免密，但是我们这次的配置是把resourcemanager开到了node01上，备用resourcemanager开到了node02节点上，而node01本身已经和其他节点配置过免密，所有此次不再配置。

五、启动集群

1，先停止集群上开启的进程（服务）
2，在node01节点上启动hdfs集群start-dfs.sh
3，在node01上启动yarn集群start-yarn.sh（Nodemanager也是由slaves文件来管理）
4，然后再手动启动node01和node02上的resourcemanager
     yarn-daemon.sh start resourcemanager
5，jps检查各个节点上进程的启动情况

六、浏览器验证

同hdfs浏览器端验证相似，yarn集群使用的端口是8088

显示activenodes节点数为3，证明节点搭建成功，当然这个数字也会变，要看你启动的nodemanager个数。