Yarn中Resource Manager HA集群搭建

第一步:在master上打开hadoop的配置文件yarn-site.xml 加入以下内容




   yarn.resourcemanager.ha.enabled
   true
 


 
   yarn.resourcemanager.cluster-id
   rmha
 


 
   yarn.resourcemanager.ha.rm-ids
   rm1,rm2
 


 
   yarn.resourcemanager.hostname.rm1
   master
 


 
   yarn.resourcemanager.hostname.rm2
   slave1
 


 
   yarn.resourcemanager.zk-address
   master:2181,slave1:2181,slave2:2181
 


Yarn中Resource Manager HA集群搭建_第1张图片


Yarn中Resource Manager HA集群搭建_第2张图片

Yarn中Resource Manager HA集群搭建_第3张图片

Yarn中Resource Manager HA集群搭建_第4张图片

第二步:在master上打开hadoop的配置文件mapred-site.xml 加入以下内容:

Yarn中Resource Manager HA集群搭建_第5张图片

vim mapred-site.xml

设置MR的运行环境为Yarn


   
        mapreduce.framework.name
        yarn
   

Yarn中Resource Manager HA集群搭建_第6张图片

第二步:在master上打开hadoop的配置文件yarn-site.xml 加入以下内容:


        yarn.nodemanager.aux-services
        mapreduce_shuffle

Yarn中Resource Manager HA集群搭建_第7张图片

Node Manager不用单独配置 因为Node Manager必须与DataNode位于同一台机器上 根据DataNode就可以知道Node Manager是哪台机器

第三步:将master上hadoop的配置文件拷贝到slave1 slave2 slave3上

Yarn中Resource Manager HA集群搭建_第8张图片

第四步:在master上启动Yarn:start-yarn.sh

Yarn中Resource Manager HA集群搭建_第9张图片

第五步:在slave1上启动备用的Resource Manager

Yarn中Resource Manager HA集群搭建_第10张图片

第六步:通过浏览器查看Resource Manager状态(端口号为8088)

Yarn中Resource Manager HA集群搭建_第11张图片

这里显示的就是三台Node Manager

Yarn中Resource Manager HA集群搭建_第12张图片

访问备用的Resource Manager 会给出提示 并重定向到主Resource Manager的监控页面

第七步:手动强制杀掉master上的Resource Manager进程 测试slave1是否会自动接管

Yarn中Resource Manager HA集群搭建_第13张图片

Yarn中Resource Manager HA集群搭建_第14张图片

此时打开slave1的监控页面 可以直接打开 不会发生重定向 说明slave1已经成功接管

你可能感兴趣的:(MapReduce)