大数据系列教程006-开启日志聚合功能

Container日志是hadoop各个container记录的日志,其中会包含错误或失败的重要信息。如果没有打开日志聚合,默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项,则会统一放在集中的位置(比如HDFS上)。Container日志会记录作业运行时会发生的各种运行时信息和错误,对于调试和调优有很大的帮助。

大数据系列教程006-开启日志聚合功能_第1张图片

 

 

1.修改master的yarn-site.xml配置,新增:

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

2592000

yarn.log.server.url

http://192.168.217.100:19888/jobhistory/logs

配置名 描述

yarn.log-aggregation-enable 是否启用日志聚合。 日志收集聚合 每个容器的日志,这些日志移动到文件系统

yarn.log-aggregation.retain-seconds 日志保存时间

yarn.log.server.url 为日志聚合服务器URL

yarn.nodemanager.remote-app-log-dir 日志存放目录(暂时不配。分为非高可用和高可用模式)

大数据系列教程006-开启日志聚合功能_第2张图片

 

 

2.将yarn-site.xml远程copy到slave1和slave2

sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/

sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/

 

 

 

3.重启hadoop集群

 

4.在每个节点新增启动historyserver进程

sbin/mr-jobhistory-daemon.sh start historyserver

大数据系列教程006-开启日志聚合功能_第3张图片

 

 

 

 

你可能感兴趣的:(大数据系列教程)