spark入门 配置历史服务器(四)

配置conf

进入conf文件夹

cp spark-defaults.conf.template spark-defaults.conf

vim spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               需要根据自己的配置修改

vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory= 需要根据自己的配置修改
-Dspark.history.retainedApplications=30"

需要在hdfs创建spark文件夹

hadoop fs -mkdir /spark

重新启动

sbin/start-all.sh

sbin/start-history-server.sh

提交任务

bin/spark-submit --class  org.apache.spark.examples.SparkPi --master spark://hadoop100:7077 examples/jars/spark-examples_2.12-3.0.0.jar 10

访问http://hadoop100:18080/