Spark集群安装（On Yarn）

说明：基于已经搭建完成的Hadoop集群，关于Hadoop集群搭建，可参考：https://blog.csdn.net/weixin_37901366/article/details/13017066

一、上传安装包

二、解压安装

[root@master software]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 

三、文件配置

1、spark-defaults

[root@master conf]# mv spark-env.sh.template spark-env.sh

[root@master conf]# vim spark-env.sh 

export JAVA_HOME=/opt/module/jdk1.8.0_212
export SPARK_HISTORY_OPTS=" 
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://master:8020/spark_history_log
-Dspark.history.retainedApplications=30"

YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

2、spark-env

[root@master conf]# mv spark-defaults.conf.template spark-defaults.conf

[root@master conf]# vim spark-defaults.conf

spark.eventLog.enabled      true
spark.eventLog.dir               hdfs://master:8020/spark_history_log

• 因为配置了Spark历史日志的目录，因此需要在HDFS创建对应目录

[root@master conf]# hdfs dfs -mkdir hdfs://master:8020/spark_history_log

四、启动Spark History服务

[root@master spark-3.0.0]# sbin/start-history-server.sh 

五、运行Example案例脚本

[root@master spark-3.0.0]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.12-3.0.0.jar 10

六、查看运行结果

1、Yarn ResourceManager 

>>点击上一步的application，查看应用程序具体执行情况 

 >>点击上一步的Logs,查看历史运行日志（yarn）

2、Spark历史日志