SPARK历史任务查看需要一下配置:


  1. 修改spark-defaults.conf配置文件

    1.   spark.eventLog.enabled             true

    2.   spark.eventLog.dir                       hdfs://192.168.9.110:9000/eventLogs

    3.   spark.eventLog.compress          true

  2. 修改spark-env.sh配置文件

    1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

  3. 以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

    1. 进入hadoop的bin目录 命令 :  cd /data/server/hadoop-2.6.0/bin

    2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

    3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

  4. 重启spark集群

  5. 启动历史任务进程

    1. sbin/start-history-server.sh

  6. 历史任务进程启动验证

    1. 执行jps命令,出现HistoryServer进程

  7. 查看历史任务Web UI

    1. http://192.168.9.110:18080/