分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)

     内容提要:文章中关于JHS服务以及TLS的服务配置信息并不是以文本的形式展示的,以图片的形式展示,并不支持拷贝。我们学习这两个服务,重点在于

      ①理解服务的功能以及作用

      ②理解服务不同配置项的作用

      ③两个服务的优缺点比较 

     仅此即可,并不需要熟记配置项,只需要了解配置项的功能。

一.JobHistoryServer服务概述

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第1张图片

缺陷:注意JobHistoryServer只存储已经完成的MapReduce应用的作业历史信息,不会存储Spark和Flink等应用程序的作业历史信息

建议开启日志聚合功能,利于统一管理和分析日志。否则每个Container的运行日志是存储在NodeManager节点本地。查看日志时候需要访问各个NodeManager节点。

二.JobHistoryServer服务配置

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第2张图片

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第3张图片

通过scp命令把配置文件分发给其他的节点(注:scp命令后面可以跟多个文件名 一次远程传输多个文件)(例:scp a.txt b.txt node1:`pwd`   可以实现把相对路径a.txt b.txt的文件传输到node1所在机器的同名工作路径下(文件夹需要scp -r 递归传输))

注意jobhistoryServer服务不能通过start-all.sh启动,必须手动启动 mapred --daemon start historyserver

启动完成后既可以通过19888端口访问historyserverWeb监控页面

三.TimeLine Server的概述和与JobHistoryServer的比较

注意Job History Server只对MapReduce应用程序提供服务,其他应用程序的历史信息需要分别单独提供HistoryServer才能查询和检索

如Spark的Application需要通过Spark自己提供的org.apache.spark.deploy.history.HistoryServer来解决应用历史信息

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第4张图片

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第5张图片

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第6张图片

四.Timeline Server的配置

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第7张图片

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第8张图片

分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)_第9张图片

五.总结(一句话,不废话)

     因此为了适用于不同的计算框架,我们配置的时候可以选择TimeLineServer,而不再选择JobHistoryServer,前者包括了后者的功能并且适用于所有的计算模型。

你可能感兴趣的:(Hadoop学习历程,hdfs,yarn)