spark启动顺序-笔记

1:hadoop的sbin下的dsf数据管理系统//验证http://192.168.190.134:50070/(主hadoop系统)

spark启动顺序-笔记_第1张图片spark启动顺序-笔记_第2张图片

2:spark的sbin下的start-all.sh启动系统

spark启动顺序-笔记_第3张图片

       start-history-server.sh历史记录

(之前要在spark-defaults.conf配置

spark.executor.extraJavaOptions    -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://master:9000/historyserverforSpark
spark.yarn.historyServer.address   master:18080
spark.history.fs.logDirectory      hdfs://master:9090/historyserverforSpark)


3:spark的bin下的spark-shell  

然后jps验证一下


你可能感兴趣的:(spark启动顺序-笔记)