hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)

1. 配置了三台服务器，hadoop22, hadoop23, hadoop24

2. hadoop文件路径: /opt/module/hadoop-3.3.4

3. hadoop22机器配置历史服务器的配置文件：

    文件路径：/opt/module/hadoop-3.3.4/etc/hadoop

    文件名称：mapred-size.xml

    新增历史服务器配置，并修改为自己的地址

	
    
        mapreduce.framework.name
        yarn
    
	
		
	
		mapreduce.jobhistory.address
		hadoop22:10020
	

	
	
		mapreduce.jobhistory.webapp.address
		hadoop22:19888
	

4. 将此文件分发到其他机器：（或者手动复制过去也行，每台机器的这个文件都需要改下）

# 这个命令是我相关文章的一个脚本，如果没有这个脚本，是运行不了的，
# 可以查看之前文章，添加脚本，也可以手动复制，修改， 也可以centos 的scp 命令发送过去
# 先看注释
# 先看注释
# 先看注释

xsync mapred-size.xml

5. 重新启动yarn, hdfs集群

6. 启动历史服务命令：

# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 运行：
bin/mapred --daemon start historyserver

# jps 查看
jps

 

7. 测试：

    运行命令：

# 
hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input

# 统计
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

 8. 查看控制台：

http://192.168.164.23:8088/cluster

 点击history 即可查看：

 9. 停止历史服务器：

# hadoop文件夹
cd /opt/module/hadoop-3.3.4

# 停止：
bin/mapred --daemon stop historyserver