spark ha讲解与配置

spark standalone集群是Master-Slaves架构的集群模式，和大部分的Master-slaves架构集群一样，存在Master单点故障问题,spark提供了两种解决

方案:

1、基于文件系统的单恢复

基于文件系统的单点恢复,主要是在spark-env里对SPARK_DAEMON_JAVA_OPTS设置

spark.deploy.recoveryMode : 设置成FILESYSTEM,缺省NONE

spark.deploy.recoveryDirectory : spark保存恢复状态的目录

如下配置：

#export SPARK_MASTER_IP=master-active

#export SPARK_MASTER_PORT=7077

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/nfs/spark/recovery"

2、基于Zookeeper的standby masters

用于生产模式,其基本原理是通过zookeeper来选举一个Master，其他的Master处于Standby状态

spark.deploy.recoveryMode  : 设置成ZOOKEEPER,缺省NONE

spark.deploy.zookeeper.url : The ZooKeeper cluster url (e.g., 192.168.1.100:2181,192.168.1.101:2181).

spark.deploy.zookeeper.dir : The directory in ZooKeeper to store recovery state (default: /spark).

注意：注意：不能将Master定义在conf/spark-env.sh里了，而是直接在Application中定义。涉及的参数是 export SPARK_MASTER_IP=bigdata001，这项不配置或者为空。否则，无法启动多个master。

如下配置：

#export SPARK_MASTER_IP=master-active

#export SPARK_MASTER_PORT=7077

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata001:2181,bigdata002:2181,bigdata003:2181 -Dspark.deploy.zookeeper.dir=/spark"