【Hadoop篇04】Hadoop配置日志聚集

​ 成长这一路就是懂得闭嘴努力,知道低调谦逊,学会强大自己,在每一个值得珍惜的日子里,拼命去成为自己想成为的人

Hadoop配置日志聚集

应用场景

为了让应用运行完成以后,将程序运行日志信息上传到HDFS系统上,有了日志之后就可以查看程序中的报错信息,从而调试程序

配置步骤

1.配置yarn-site.xml



	yarn.log-aggregation-enable
	true




	yarn.log-aggregation.retain-seconds
	604800

【Hadoop篇04】Hadoop配置日志聚集_第1张图片

2.重启集群

sbin/stop-yarn.sh
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

3.运行程序

上传数据到HDFS

【Hadoop篇04】Hadoop配置日志聚集_第2张图片

赋给文件权限

【Hadoop篇04】Hadoop配置日志聚集_第3张图片

运行程序

image-20200513151752877

查看运行结果

image-20200513151910293

4.查看日志

【Hadoop篇04】Hadoop配置日志聚集_第4张图片

【Hadoop篇04】Hadoop配置日志聚集_第5张图片

【Hadoop篇04】Hadoop配置日志聚集_第6张图片

相关资料

【Hadoop篇04】Hadoop配置日志聚集_第7张图片

本文配套GitHub:https://github.com/zhutiansama/FocusBigData

本文配套公众号:FocusBigData

回复【大数据面经】【大数据面试经验】【大数据学习路线图】会有惊喜哦

你可能感兴趣的:(【Hadoop篇04】Hadoop配置日志聚集)