spark入门 配置历史服务器(四)

配置conf

进入conf文件夹

cp spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
spark.eventLog.enabled           true
spark.eventLog.dir               需要根据自己的配置修改

spark入门 配置历史服务器(四)_第1张图片

vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory= 需要根据自己的配置修改
-Dspark.history.retainedApplications=30"

spark入门 配置历史服务器(四)_第2张图片
spark入门 配置历史服务器(四)_第3张图片

需要在hdfs创建spark文件夹

hadoop fs -mkdir /spark

重新启动

sbin/start-all.sh
sbin/start-history-server.sh

提交任务

bin/spark-submit --class  org.apache.spark.examples.SparkPi --master spark://hadoop100:7077 examples/jars/spark-examples_2.12-3.0.0.jar 10

访问http://hadoop100:18080/

spark入门 配置历史服务器(四)_第4张图片
spark入门 配置历史服务器(四)_第5张图片

你可能感兴趣的:(spark,服务器,hadoop)