Spark On Yarn的部署

1、Spark On Yarn的部署

Spark On Yarn不需要过多的配置，只需要确保以下两项的正确配置(/export/server/spark/conf/spark-env.sh )

HADOOP_CONF_DIR
YARN_CONF_DIR

[root@node1 conf]# vim spark-env.sh 

HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
#本机hadoop的安装路径

2、启动Spark On Yarn

[root@node1 spark]# bin/pysaprk --master yarn

出现以上界面说明启动成功，也可以看下面的WEB页面查看启动情况

http://node1:8088/