ResourceManager HA

架构图解析

架构图.png

ResourceManager会在内存中存放各个nodeManager节点资源信息、任务运行状态信息。通过ZooKeeper集群，配置一个activeRM和standbyRM。activeRM把状态这些状态信息写入到zookeeper集群中。
如果ActiveRM被关闭，故障转移，StandbyRM直接从zookeeper去读取状态。

ResourceManager HA 配置部署(在搭建完zookeeper集群后)

1. 配置文件
   core-site.xml

    
        hadoop.tmp.dir
        /opt/app/hadoop-2.5.0/data/tmp
    

    
      fs.defaultFS
      hdfs://bigdata-00:8020
    

yarn-site.xml

    
    
        yarn.resourcemanager.ha.enabled
        true
    

    
    
        yarn.resourcemanager.cluster-id
        yarn-cluster
    
    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    
    
    
        yarn.resourcemanager.hostname.rm1
        bigdata-01
    
    
        yarn.resourcemanager.hostname.rm2
        bigdata-02
    

    
    
        yarn.resourcemanager.zk-address
        bigdata-00:2181,bigdata-01:2181,bigdata-02:2181
    

    
    
        yarn.resourcemanager.recovery.enabled
        true
    

    
    
        yarn.resourcemanager.store.class
        org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
    

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

2. 启动各个节点的服务，最后相关后台进程如下

   
   
   

   节点0.png
   
   
   

   节点1.png
   
   
   

   节点2.png

3. 运行wordcount程序测试RM HA。

• 在namenode节点上运行MR程序

[wulei@bigdata-00 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /test/ /test/out

• 在运行到map端时，关闭节点bigdata-01的RM进程

[wulei@bigdata-01 hadoop-2.5.0]$ jps
8214 DataNode
8569 NodeManager
5195 QuorumPeerMain
8316 ResourceManager
8669 Jps
[wulei@bigdata-01 hadoop-2.5.0]$ kill -9 8316

• 查看bigdata-02节点的resoucemanager的web管理界面。可以发现，mapreduce程序仍然可以继续运行至结束。

  
  
  

  yarn1.png
  
  
  

  yarn5.png