Spark配置历史服务

由于spark-shell 停止掉后，集群监控页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

步骤

1. 修改 spark-defaults.conf.template 文件名为spark-defaults.conf

[root@hadoop102 spark-standalone]# mv spark-defaults.conf.template spark-defaults.conf 

2. 修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:9000/directory

注意：需要启动hadoop 集群，HDFS 上的directory 目录需要提前存在。

3. 修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS=" 
-Dspark.history.ui.port=18080  
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory  
-Dspark.history.retainedApplications=30"

其中

• 参数 1 含义：WEB UI 访问的端口号为18080
• 参数 2 含义：指定历史服务器日志存储路径
• 参数 3 含义：指定保存Application 历史记录的个数，如果超过这个值，旧的应用程序
  信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4. 分发配置文件

[root@hadoop102 spark-standalone]# xsync conf/

5. 重新启动集群和历史服务

[root@hadoop102 spark-standalone]# sbin/start-all.sh 
[root@hadoop102 spark-standalone]# sbin/start-history-server.sh

6. 执行examples案例

bin/spark-submit \ 
--class org.apache.spark.examples.SparkPi \ 
--master spark://hadoop102:7077 \ 
./examples/jars/spark-examples_2.12-3.0.0.jar \ 
10 

7. 查看历史服务http://hadoop102:18080