hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器

 Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器

历史服务器开启  mr-jobhistory-daemon.sh start historyserver

配置历史服务器

在配置文件前需要注意的一点就是先把进程打开 start-all.sh，不然是访问不到网页的

1. 首先根目录创建一个目录文件夹
   

2. 运行 一 个wordcount 程序 图中标注有详细步骤
   

3. 在web端网页观察 yarn 的页面 ip地址为 主机名:8088
   注：如果进入网页没有application说明配置文件有问题，仔细查看 集群配置文件内容  进入有详细配置文件代码 全分布式集群搭建
   

4. 历史服务器 是mapred-site.xml文件
   全分布式集群搭建 有配置文件代码及详细步骤
   

   	
   	
   		mapreduce.framework.name
   		yarn
   		true
   	
   	
   	
   		mapreduce.jobhistory.address
   		
   		hadoop:10020
   	
   	
   	
   		mapreduce.jobhistory.webapp.address
   		
   		hadoop:19888
   	
   	
   

   记得集群机器都得配置，如果配过了就不需要在配置了

5. 日志聚合 在yarn-site.xml 文件
   全分布式集群搭建 有配置文件代码及详细步骤

     
           yarn.log-aggregation-enable
           true
   		
   
      
           yarn.nodemanager.remote-app-log-dir
           /hadoop/logs
   		
   
   

   注：每台机器都得配置

6. 配置完毕以后 重启yarn 进程 如果进程已开 则先执行 stop-yarn.sh 在执行start-yarn.sh

7. 启动历史服务器

• 开启jobhistory进程执行：mr-jobhistory-daemon.sh start historyserver
• 关闭jobhistory进程执行：mr-jobhistory-daemon.sh stop historyserver

8. 点开进入yarn网页端 ip地址为 主机名:8088
   若页面没有application 再次重新执行一次 wordcount 程序
   注：第2点有详细步骤
   
   
   

9. 如果在点击 history 历史记录进入的时候，报 Not found 找不到什么之类的问题时，重新启动历史服务器的进程就好了。