基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

1.配置mapred-site.xml(默认没有mapred-site.xml文件,从mapred-site.xml.template文件复制一份,改名为mapred-site.xml就可以)

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置_第1张图片

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置_第2张图片


2.配置yarn-site.xml

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置_第3张图片




    
    
        yarn.resourcemanager.connect.retry-interval.ms
        2000
    

    
    
        yarn.resourcemanager.ha.enabled
        true
    

    
    
        yarn.resourcemanager.ha.automatic-failover.enabled
        true
    


    
        yarn.resourcemanager.ha.automatic-failover.embedded
        true
    

        
    
        yarn.resourcemanager.cluster-id
        yarn-rm-cluster
    

    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    

    
    
        yarn.resourcemanager.hostname.rm1
        hadoop001
    

    
    
        yarn.resourcemanager.hostname.rm2
        hadoop002
    

    
    
        yarn.resourcemanager.recovery.enabled
        true
    

    
    
        yarn.resourcemanager.zk.state-store.address
        hadoop001:2181,hadoop002:2181,hadoop003:2181,hadoop004:2181,hadoop005:2181
    

    
    
        yarn.resourcemanager.zk-address
        hadoop001:2181,hadoop002:2181,hadoop003:2181,hadoop004:2181,hadoop005:2181
    

    
    
        yarn.resourcemanager.address.rm1
        hadoop001:8032
    

    
    
        yarn.resourcemanager.scheduler.address.rm1
        hadoop001:8034
    

    
    
        yarn.resourcemanager.webapp.address.rm1
        hadoop001:8088
    

    
    
        yarn.resourcemanager.address.rm2
        hadoop002:8032
    

    
    
        yarn.resourcemanager.scheduler.address.rm2
        hadoop002:8034
    

    
    
        yarn.resourcemanager.webapp.address.rm2
        hadoop002:8088
    

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
        yarn.nodemanager.aux-services.mapreduce_shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    



3.向其他节点同步yarn配置(deploy.sh etc/ /usr/hadoop/app/hadoop/ all)


4.启动YARN

   在hadoop001节点上执行(sbin/start-yarn.sh)


   在hadoop002节点上面执行(sbin/yarn-daemon.sh start resourcemanager)


5.查看web页面
   访问hadoop001的web页面,如下
基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置_第4张图片
   访问hadoop002的web页面,如下
基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置_第5张图片
6.查看ResourceManager状态


 resourceManager的名字是yarn.resourcemanager.ha.rm-ids属性指定的

 如果上面执行没有异常,说明YARN安装成功

你可能感兴趣的:(hadoop生态环境搭建)