hadoop yarn配置错误修正

hadoop执行log查看IP错误

  
    yarn.resourcemanager.address
    bigdata01:8032
  
  
     yarn.resourcemanager.scheduler.address
     bigdata01:8030
  
  
     yarn.resourcemanager.resource-tracker.address
     bigdata01:8031
  
  
     yarn.resourcemanager.admin.address
     bigdata01:8033
   
   
      yarn.resourcemanager.webapp.address
      bigdata01:8088
   
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
                 yarn.resourcemanager.hostname
                 bigdata01
         
        
                 yarn.nodemanager.hostname
                bigdata01
        
        
          yarn.nodemanager.webapp.address
            bigdata01:8042
        
        
            yarn.log-aggregation-enable
            true
        

yarn-site.xml配置文件如果不配置上述红色字体的配置，则图片中标注处默认localhost:8042，则无法进行跳转。

修正后：

配置查看网页地址：http://bigdata01:8088/conf

hadoop job执行完之后：

点击 http://n1.hadoop:19888/jobhistory/attempts/job_1406341693880_0001/r/SUCCESSFUL 出现Aggregation is not enabled. Try the nodemanager at d2.hadoop:42812 错误。

一开始以为是相关的服务没有开启，后来试了好几个都不行。

在网上找到相关资料：

 <property>
     <name>yarn.log-aggregation-enablename>
     <value>truevalue>
 property>

增加以上信息在  yarn-site.xml to enable log aggregation.

yarn是用管理job的调度，然后这个地方需要手动的去开启才可以看到。

uber mode

Hadoop的小作业模式， 数据量小非常节约时间

16/09/07 17:30:03 INFO mapreduce.Job: Job job_1473238699388_0005 running in uber mode : false

将mapreduce.job.ubertask.enable设置为true。