03_HADOOP_05_MR高可用搭建

MR架构图

单个MR具体细节

计算示例

MR-1.X版本

MR-1.X版本优缺点

MR-2.X版本

MR-2.X版本优缺点

环境规划

环境规划

node03和node04实现相互之间免秘钥

在node01修改mapred-site.xml和yarn-site.xml,然后分发到其他机器

mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

yarn-site.xml

  yarn.nodemanager.aux-services
  mapreduce_shuffle


  yarn.resourcemanager.ha.enabled
  true


  yarn.resourcemanager.cluster-id
  zhhcluster


  yarn.resourcemanager.ha.rm-ids
  rm1,rm2


  yarn.resourcemanager.hostname.rm1
  node03


  yarn.resourcemanager.hostname.rm2
  node04


  yarn.resourcemanager.webapp.address.rm1
  node03:8088


  yarn.resourcemanager.webapp.address.rm2
  node04:8088


  yarn.resourcemanager.zk-address
  node02:2181,node03:2181,node04:2181

在node01启动start-yarn.sh

到node03和node04分别启动yarn

yarn-daemon.sh start resourcemanager