Hadoop日志聚合和jobhistoryserver配置

一、前言

安装了hadoop-2.7.3集群,登陆YARN WEB界面,发现下图mapreduce应用UI入口都无法使用,现记录下处理方案
Hadoop日志聚合和jobhistoryserver配置_第1张图片

二、处理方案

1.yarn-site.xml配置yarn.resourcemanager.webapp.address,如果没配置ApplicationMaster入口无法使用

 <property>
         <name>yarn.resourcemanager.webapp.addressname>
         <value>rmhost:8088value>
 property>

2.mapred-site.xml配置jobhistoryserver,没配置History入口无法使用

<property>
<name>mapreduce.jobhistory.addressname>
<value>rmhost:10020value>
property>
<property>
<name>mapreduce.jobhistory.webapp.addressname>
<value>rmhost:19888value>
property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dirname>
<value>/mr-history/tmpvalue>
property>
<property>
<name>mapreduce.jobhistory.done-dirname>
<value>/mr-history/donevalue>
property>

注意:jobhistoryserver需单独启动

sbin/mr-jobhistory-daemon.sh start historyserver

3.yarn-site.xml配置日志聚合,没配置History入口的map、reduce、applicationMaster日志无法查看

 
<property>
<name>yarn.log-aggregation-enablename>
<value>truevalue>
property>

<property>
<name>yarn.nodemanager.remote-app-log-dirname>
<value>/user/container/logsvalue>
property> 

Hadoop日志聚合和jobhistoryserver配置_第2张图片

Hadoop日志聚合和jobhistoryserver配置_第3张图片

你可能感兴趣的:(Hadoop)