spark入门 高可用部署HA（五)

一、standalone基于修改部署

https://blog.csdn.net/weixin_43205308/article/details/131070277?spm=1001.2014.3001.5501

二、安装ZOOKEEPER

zookeeper 安装下载与集群

三、修改conf下的spark-env.sh

vim conf/spark-env.sh

注释以下内容（根据自己环境修改）

#SPARK_MASTER_HOST=hadoop100
#SPARK_MASTER_PORT=7077

添加以下配置（根据自己环境修改）

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop100,hadoop101,hadoop102
-Dspark.deploy.zookeeper.dir=/spark

完整配置如图

记得分发配置

四、启动zookeeper

五，重启Spark

在hadoop100操作

sbin/start-all.sh

在hadoop101只启动master

sbin/start-master.sh

六、测试

关闭其中一个masetr进程，master节点将会切换