(九)大数据实战——hadoop集群的历史服务器配置与日志聚集

前言

前面的章节我们已经介绍过了关于hadoop集群部署的内容,延续上一节的内容。本节我们主要介绍一下关于hadoop集群历史服务器的配置与启动,方便我们查看hadoop操作过程中的一些任务执行情况。同时我们也配置一下hadoop集群的日志聚集功能,这样便于集中查看hadoop集群的日志。

正文

  • hadoop集群执行任务历史服务器配置

①在hadoop101服务器上,使用vi编辑器在mapred-site.xml中增加以下内容



	mapreduce.jobhistory.address
	hadoop101:10020



	mapreduce.jobhistory.webapp.address
	hadoop101:19888

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第1张图片

②分发mapred-site.xml配置文件到hadoop102、hadoop103服务器

hsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第2张图片

③启动历史服务器

 mapred --daemon start historyserver

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第3张图片

④使用web端查看hadoop集群任务:http://hadoop101:19888/jobhistory 

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第4张图片

  •  hadoop集群日志聚集功能配置

①在hadoop101服务器上,使用vi编辑器在yarn-site.xml中增加以下内容



	yarn.log-aggregation-enable
	true



	yarn.log.server.url
	http://hadoop101:19888/jobhistory/logs



	yarn.log-aggregation.retain-seconds
	604800

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第5张图片

②分发yarn-site.xml配置文件到其它集群

 hsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第6张图片

③重启yarn组件和历史服务器historyserver

#停止yarn组件
stop-yarn.sh
#停止历史服务器
mapred --daemon stop  historyserver
#开启yarn组件
start-yarn.sh
#开启历史服务器
mapred --daemon start  historyserver

- 在hadoop102服务器上面重启yarn组件

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第7张图片

- 在hadoop101服务器上重启历史日志服务器

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第8张图片

⑤执行一个job,验证配置是否生效

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第9张图片

⑥查看历史服务器

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第10张图片

⑦查看任务执行日志

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第11张图片

(九)大数据实战——hadoop集群的历史服务器配置与日志聚集_第12张图片

结语

至此,关于hadoop集群的历史服务器配置与日志聚集功能就介绍到这里,我们下期见。。。。。。

你可能感兴趣的:(大数据,#,hadoop,大数据,hadoop)