spark的standalone模式下HA的配置

1. 在每个节点上的conf/spark-env.sh中配置  

# for ha
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

2.配置zookeeper 

3.启动zookeeper集群

4.启动spark集群  

在master节点上启动 ,会开启master和worker。
sbin/start-all.sh

在slave1 和 slave2 节点上启动
sbin/start-master.sh

这样就启动了三个master了。通过master:8080 , slave1:8080 , slave2:8080均可以访问集群UI。 一个active的 和 两个 standby 。

5.测试  kill掉 master节点的 master进程， 然后访问其他两个节点的UI页面，可以发现其中一个转为active了。