Spark监控

有几种方法来监视Spark应用程序：Web UI，metrics和外部工具。

Web界面

每个SparkContext都会启动一个Web UI，默认端口为4040，显示有关应用程序的有用信息。这包括：

• 调度器阶段和任务的列表
• RDD 大小和内存使用的概要信息
• 环境信息
• 正在运行的执行器的信息

您可以通过在Web浏览器中打开 http://:4040 来访问此界面。 如果多个SparkContexts在同一主机上运行，则它们将绑定到连续的端口从4040（4041，4042等）开始。
请注意，默认情况下此信息仅适用于运行中的应用程序。要在事后还能通过Web UI查看，请在应用程序启动之前，将spark.eventLog.enabled设置为true。 这配置Spark持久存储以记录Spark事件，再通过编码该信息在UI中进行显示。默认情况下，会在 http://:18080 创建一个Web 界面 ，显示未完成、完成以及其他尝试的任务信息。

REST API

除了在UI中查看指标外，它们还可以作为JSON使用。这为开发人员提供了一种为Spark创建新的可视化和监视工具的简便方法。JSON既可用于正在运行的应用程序，也可用于历史记录服务器。端点安装在/api/v1。例如，对于历史服务器，它们通常可以在http://:18080/api/v1运行的应用程序中访问，也可以在运行的应用程序中访问http://localhost:4040/api/v1 。

Metrics

Spark具有基于Dropwizard Metrics Library的可配置metrics系统。 这允许用户将Spark metrics报告给各种接收器，包括HTTP，JMX和CSV文件。 metrics系统是通过配置文件进行配置的，Spark配置文件是Spark预计出现在 $SPARK_HOME/conf/metrics.properties上。 可以通过spark.metrics.conf 指定自定义文件位置。
Spark的度量标准分离到与Spark组件对应的不同实例中。在每个实例中，您可以配置一组报告度量标准的接收器。目前支持以下实例：

• master：Spark独立主进程。
• applications：主服务器中的一个组件，用于报告各种应用程序。
• worker：Spark独立工作进程。
• executor：Spark执行者。
• driver：Spark驱动程序进程（创建SparkContext的过程）。
• shuffleService：Spark shuffle服务。

每个实例都可以向零个或多个接收器报告。org.apache.spark.metrics.sink包装中包含水槽 ：

• ConsoleSink：将度量标准信息记录到控制台。
• CSVSink：定期将指标数据导出到CSV文件。
• JmxSink：注册要在JMX控制台中查看的度量标准。
• MetricsServlet：在现有Spark UI中添加servlet，以将度量数据作为JSON数据提供。
• GraphiteSink：将指标发送到Graphite节点。
• Slf4jSink：将指标发送到slf4j作为日志条目。
• StatsdSink：将指标发送到StatsD节点。

Spark还支持Ganglia接收器，由于许可限制，该接收器未包含在默认构建中：

• GangliaSink：将度量标准发送到Ganglia节点或多播组。

metrics配置文件的语法在示例配置文件 $SPARK_HOME/conf/metrics.properties.template中定义。

高级工具

可以使用几种外部工具来帮助描述Spark job的性能：

• 集群范围的监控工具，例如 Ganglia可以提供对整体集群利用率和资源瓶颈的洞察。例如，Ganglia仪表板可以快速显示特定工作负载是否为磁盘绑定，网络绑定或CPU绑定。
• 操作系统分析工具，如 dstat，iostat 和 iotop 可以在单个节点上提供细粒度的分析。
• JVM实用程序，如 jstack 提供堆栈跟踪，jmap用于创建堆转储，jstat用于报告时间序列统计数据和jconsole用于可视化地浏览各种JVM属性对于那些合适的JVM内部使用是有用的。

总结的spark 监控的思维导图：

spark监控