Yarn篇--搭建yarn集群

一。前述

有了上次hadoop集群的搭建，搭建yarn就简单多了。废话不多说，直接来

二。规划

 

 三。配置如下

yarn-site.xml配置

 
        yarn.nodemanager.aux-services
        mapreduce_shuffle//定义yarn的机制
   

   yarn.resourcemanager.ha.enabled//是否使用HA
   true
 
 
   yarn.resourcemanager.cluster-id//集群Id
   cluster1
 
 
   yarn.resourcemanager.ha.rm-ids//集群逻辑节点
   rm1,rm2
 
 
   yarn.resourcemanager.hostname.rm1//集群物理节点
   node03
 
 
   yarn.resourcemanager.hostname.rm2//集群物理节点
   node04
 
 
   yarn.resourcemanager.zk-address>//与zookeeper通信
   node02:2181,node03:2181,node04:2181
 

mapred-site.xm配置

        mapreduce.framework.name//使用yran
        yarn
 
PS  :slaves中既是datanode配置同时也是nodemanger的配置

四。配置免密

同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
五。启动顺序
养成一个好习惯，先把集群停掉，然后再添加配置，（其实不停也行）

 

先在node01节点上手动先启动hdfs集群start-dfs.sh

node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

然后再在node03和node04手动启动resourcemanger

yarn-daemon.sh start resourcemanager

六。验证

自此集群搭建成功！！！

持续更新中。。。。，欢迎大家关注我的公众号LHWorld.

 

 

转载于:https://www.cnblogs.com/LHWorldBlog/p/8219453.html