hadoop 8088UI无法查看log日志及Tracking UI(URL)输出信息

运行spark on yarn时,Hadoop 8088UI界面上所有可以点击的链接均无法打开:
hadoop 8088UI无法查看log日志及Tracking UI(URL)输出信息_第1张图片
可能存在的几种情况:
第一:配置存在问题。
第二:jobhistory没有启动。
第三:本机的host文件没有配置别名。

如果是配置存在问题,请参考如下配置:

  • core-site.xml文件

	
	
		fs.defaultFS
		hdfs://cdh01:8020
	
	
	
		hadoop.tmp.dir
		/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
	
	
	
		io.file.buffer.size
		4096
	
	
	
		fs.trash.interval
		10080
	

  • hadoop-env.sh文件
export JAVA_HOME=/export/servers/jdk1.8.0_144
  • hdfs-site.xml文件

	 
	
	
	
	
		dfs.namenode.secondary.http-address
		cdh01:50090
	
	
	
		dfs.namenode.http-address
		cdh01:50070
	
	
	
		dfs.namenode.name.dir
		file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
	
	
	
		dfs.datanode.data.dir
		file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
	
	
	
		dfs.namenode.edits.dir
		file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
	
	
	
		dfs.namenode.checkpoint.dir
		file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
	
	
	
		dfs.namenode.checkpoint.edits.dir
		file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
	
	
	
		dfs.replication
		3
	
	
	
		dfs.permissions
		false
	
	
	
		dfs.blocksize
		134217728
	

  • mapred-site.xml文件

	
	
		mapreduce.framework.name
		yarn
	
	
	
		mapreduce.job.ubertask.enable
		true
	
	
	
		mapreduce.jobhistory.address
		cdh01:10020
	
	
	
		mapreduce.jobhistory.webapp.address
		cdh01:19888
	

  • slaves文件
cdh01
cdh02
cdh03
  • yarn-site.xml文件

	
	
		yarn.resourcemanager.hostname
		cdh01
	
	
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
	
		yarn.log-aggregation-enable
		true
	
	
        yarn.nodemanager.remote-app-log-dir
        hdfs://cdh01:8020/tmp/yarn-log
	
	
        yarn.log.server.url
        http://cdh01:19888/jobhistory/logs/
	
	
        yarn.nodemanager.log-aggregation.compression-type
        gz
	
	
	
		yarn.log-aggregation.retain-seconds
		604800
	
	
         yarn.nodemanager.vmem-check-enabled
         false
	
	
	
		yarn.nodemanager.resource.memory-mb
		65536
	
	
	
        yarn.scheduler.maximum-allocation-mb
        25600
	
	
	
        yarn.nodemanager.resource.cpu-vcores
        40
	
	
	
        yarn.nodemanager.vmempmem-ratio
        2.1
	

如果配置不存在问题,还是无法查看log,那就看看jobhistory是否启动:

mr-jobhistory-daemon.sh start historyserver

如果还无法查看Hadoop 8088UI的log:
查看你现在使用的本机的host文件,是否配置了别名:
hadoop 8088UI无法查看log日志及Tracking UI(URL)输出信息_第2张图片
因为我们在配置中全部用的别名,如cdh01,cdh02,cdh03这种,前提是已经在Linux中配置了别名,使用起来比较方便。而且当我们在点击Hadoop 8088UI的链接时,我们浏览器中的地址实际上是这样的:

cdh01:19888/jobhistory/logs/cdh01.localdomain:23134/container_..........

如果本机host没有配置别名的话,URL上的cdh01是无法解析的。

你可能感兴趣的:(Hadoop)