Hadoop2 MR-JobHistory服务介绍

1）MR-JobHistory服务目标

主要是向用户提供历史的mapred Job 查询

2） MR-JobHistory服务架构

详细解释：

a）在运行MR Job时，MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置，将MR Job的job history信息保存到指定的hdfs路径（首先保存到临时目录，然后mv到最终目录）

b）如果在yarn-site.xml中，没有配置nodemanage的 LogAggregation功能，则historyserver无法提供mr日志明细查询的功能（在提交mr job时，yarn和mapred的配置都是必须的）

c）historyserver向外提供两个接口，web接口可以提供jobhistory和明细日志查询的功能，而restApi只提供jobhistory查询的功能（注意上图中的数据流向指针的颜色）

d）jobhistory具体包含的信息，可以查询：

http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Elements_of_the_historyInfo_object

3） MR-JobHistory服务配置

a）配置 nodemanage的 LogAggregation功能(yarn-site.xml)

  <property>

    <name>yarn.log-aggregation-enable</name>          

    <value>true</value>

  </property>

  

  <property>

    <name>yarn.log-aggregation.retain-seconds</name>          

    <value>864000</value>

  </property>

  

  <property>

    <name>yarn.log-aggregation.retain-check-interval-seconds</name>          

    <value>86400</value>

  </property>  

  <property>

    <name>yarn.nodemanager.remote-app-log-dir</name>          

    <value>/YarnApp/Logs</value>

  </property>

b）配置ApplicationMaster的jobhistory在hdfs存储路径（mapred-site.xml）

 <property>

  <name>yarn.app.mapreduce.am.staging-dir</name>

  <value>/YarnApp/MR-History</value>

 </property>

c）配置jobhistory的服务器（规范化的需求：这部分配置不重要，记住在那台服务器启动就行） （mapred-site.xml）

 <property>

   <name>mapreduce.jobhistory.address</name>

   <value>hs:10020</value>

 </property>

 <property>

   <name>mapreduce.jobhistory.webapp.address</name>

   <value>hs:19888</value>

 </property>

 <property>

   <name>mapreduce.jobhistory.joblist.cache.size</name>

   <value>15000</value>

 </property> 

e）其他相关参数  （mapred-site.xml）

mapreduce.jobhistory.done-dir

    ${yarn.app.mapreduce.am.staging-dir}/history/done

mapreduce.jobhistory.intermediate-done-dir

    ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

4）启动MR-JobHistory服务

sbin/mr-jobhistory-daemon.sh start historyserver