hadoop 日志聚集功能配置 hadoop(十一)

由图所示，本文主要是将三台机器log 进行日志聚集查看。图更加直观

1. 首先需要配置历史服务器配置，才可以配置日志聚集功能：

  hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)-CSDN博客

2. 配置了三台服务器，hadoop22, hadoop23, hadoop24

3. hadoop文件路径: /opt/module/hadoop-3.3.4

4. hadoop22机器配置配置文件：

    文件路径：/opt/module/hadoop-3.3.4/etc/hadoop

    文件名称：yarn-site.xml

    文件中，需要修改为你自己的 服务器名

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop23
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    
	
	
	
	
		yarn.log-aggregation-enable
		true
	
	
	  
		yarn.log.server.url  
		http://hadoop22:19888/jobhistory/logs
	
	
	
		yarn.log-aggregation.retain-seconds
		604800
	

5. 分发文件到其他两台服务器：

# 这个命令是我相关文章的一个脚本，如果没有这个脚本，是运行不了的，
# 可以查看之前文章，添加脚本，也可以手动复制，修改， 也可以centos 的scp 命令发送过去
# 先看注释
# 先看注释
# 先看注释
 
xsync yarn-site.xml 

6. 停止历史服务器：

# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 停止
bin/mapred --daemon stop historyserver

7. 重启hadoop23机器的yarn集群:

   去hadoop23机器：

# hadoop文件夹
cd /opt/module/hadoop-3.3.4


# hadoop23机器，停止yarn集群
sbin/stop-yarn.sh 

#jps
jps

# jps多查看两遍是否已停止

# 开启
sbin/start-yarn.sh

8. 去hadoop22机器重启历史服务器：

# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 开始
bin/mapred --daemon start historyserver

9. 重新启动计算demo:

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input  /output2

10. 查看日志聚集记录：

             http://hadoop23:8088/cluster

 依次点击框中链接

 

 

 

 11. 日志已启用成功，能够查看日志