Hadoop总结 五 配置历史服务器 配置集群日志

Hadoop总结 五 配置历史服务器 配置集群日志

5.1 配置历史服务器

1. 配置mapred-site.xml

   在该文件中增加如下配置

   
   
       mapreduce.jobhistory.address
       hadoop103:10020
   
   
   
   
       mapreduce.jobhistory.webapp.address
       hadoop103:19888
   
   

2. 分发配置

   xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
   

3. 启动历史服务器

   mapred --daemon start historyserver
   

4. 查看历史服务器是否启动

   jps
   

5. 在web端查看Jobhistory

   http://hadoop103:19888/jobhistory

6. 关闭历史服务器

   mapred --daemon stop historyserver
   

5.2 配置日志服务器

1. 概述

   日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

   日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

   注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

2. 配置yarn-site.xml

   在文件中增加

   
   
       yarn.log-aggregation-enable
       true
   
   
     
       yarn.log.server.url  
       http://hadoop103:19888/jobhistory/logs
   
   
   
       yarn.log-aggregation.retain-seconds
       604800
   
   

3. 分发配置

   xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
   

4. 关闭NameNode,resourceManager,HistoryServer

   stop-yarn.sh
   mapred --daemon stop historyserver
   

5. 启动4.

   start-yarn.sh
   mapred --daemon start historyserver
   

6. 删除HDFS上已经存在的输出文件

   hadoop fs -rm -r /output
   

7. 执行Wordcount程序

   hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
   

8. 查看日志

   http://hadoop103:19888/jobhistory