spark查看历史任务的信息

阅读更多

1、在spark-default.conf中增加：
spark.eventLog.enabled                  true
spark.eventLog.dir                           hdfs://10.0.0.37:9000/sparklogs
spark.eventLog.compress                true

 

2、在spark-env.sh中增加：

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://10.0.0.37:9000/sparklogs"

(加入改行可以在start-history-server.sh启动中，不再加入hdfs://10.0.0.37:9000/sparklogs)

3、启动 start-history-server.sh 命令
4、然后就可以看到历史任务的详细信息