Hadoop2 MR-JobHistory服务介绍

1）MR-JobHistory服务目标

主要是向用户提供历史的mapred Job 查询

2） MR-JobHistory服务架构

详细解释：

a）在运行MR Job时，MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置，将MR Job的job history信息保存到指定的hdfs路径（首先保存到临时目录，然后mv到最终目录）

b）如果在yarn-site.xml中，没有配置nodemanage的 LogAggregation功能，则historyserver无法提供mr日志明细查询的功能（在提交mr job时，yarn和mapred的配置都是必须的）

c）historyserver向外提供两个接口，web接口可以提供jobhistory和明细日志查询的功能，而restApi只提供jobhistory查询的功能（注意上图中的数据流向指针的颜色）

d）jobhistory具体包含的信息，可以查询：

http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Elements_of_the_historyInfo_object

3） MR-JobHistory服务配置

a）配置 nodemanage的 LogAggregation功能(yarn-site.xml)

 

    yarn.log-aggregation-enable          

    true

 

  

 

    yarn.log-aggregation.retain-seconds          

    864000

 

  

 

    yarn.log-aggregation.retain-check-interval-seconds          

    86400

   

 

    yarn.nodemanager.remote-app-log-dir          

    /YarnApp/Logs

 

b）配置ApplicationMaster的jobhistory在hdfs存储路径（mapred-site.xml）

 

  yarn.app.mapreduce.am.staging-dir

  /YarnApp/MR-History

 

c）配置jobhistory的服务器（规范化的需求：这部分配置不重要，记住在那台服务器启动就行） （mapred-site.xml）

 

   mapreduce.jobhistory.address

   hs:10020

 

 

   mapreduce.jobhistory.webapp.address

   hs:19888

 

 

   mapreduce.jobhistory.joblist.cache.size

   15000

  

e）其他相关参数  （mapred-site.xml）

mapreduce.jobhistory.done-dir

    ${yarn.app.mapreduce.am.staging-dir}/history/done

mapreduce.jobhistory.intermediate-done-dir

    ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

4）启动MR-JobHistory服务

sbin/mr-jobhistory-daemon.sh start historyserver