flink实战--HistoryServer配置与应用

背景

            回想一下，在实际线上开发flink任务时，是否存在这样的需求：flink实时任务掉线了，此时我们再去查看yarn的web页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics 监控，那么很遗憾这些信息就丢失了，对我们分析flink任务出现的bug，异常退出的原因很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。

HistoryServer

          flink任务停止或异常退出后，JobManager会将已经完成任务的统计信息进行存档，历史服务进程则在任务停止后可以对任务统计信息进行查询，并可以展示在web界面上很方便我们去查看已经完成(正常退出/异常退出)的flink任务信息。同时，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应，并且HistoryServer支持flink集群模式也支持flink  on yarn.

如何配置并开启HistoryServer

          我们需要在 flink的配置文件flink-conf.yml 中配置如下信息：

1. jobmanager.archive.fs.dir：JobManager任务存档目录。任务结束后，会将统计信息写到该目录下，例如：