Spark2.X 集群安装（原生版详细）

Spark集群安装

搭建最简单的三台主机的集群。

hadoop001    Master 

hadoop002    Worker

hadoop003    Worker

详细步骤如下。

1.下载spark安装包

  下载地址spark官网：http://spark.apache.org/downloads.html

spark-2.0.2-bin-hadoop2.7版本.

 

2.规划安装目录

/opt/soft

3.解压安装包

tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

4.修改配置文件

配置文件目录在/opt/soft/spark-2.0.2-bin-hadoop2.7/conf

4.1 vi spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)

#配置java环境变量 export JAVA_HOME=/opt/soft/jdk1.8.0_171 #指定spark老大Master的IP export SPARK_MASTER_HOST=hadoop001 #指定spark老大Master的端口 export SPARK_MASTER_PORT=7077

4.2 vi  slaves 修改文件(先把slaves.template重命名为slaves)

#删除localhost，添加下面两行 hdp-node-02 hdp-node-03

5.拷贝到其他两台主机

通过scp 命令将spark的安装目录拷贝到其他机器上

scp -r spark-2.0.2-bin-hadoop2.7 hadoop002:/opt/soft/

scp -r spark-2.0.2-bin-hadoop2.7 hadoop003:/opt/soft/

6.配置spark环境变量

将spark添加到环境变量,添加以下内容到 /etc/profile

export SPARK_HOME=/opt/soft/spark-2.0.2-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin

注意最后 source /etc/profile  刷新配置

7.启动spark集群

#在主节点上启动spark

/opt/soft/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh

启动成功显示结果如下：

[hadoop@hadoop001 spark-2.0.2-bin-hadoop2.7]$ sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /opt/soft/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-hadoop001.out hadoop002: starting org.apache.spark.deploy.worker.Worker, logging to /opt/soft/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop002.out hadoop002: failed to launch org.apache.spark.deploy.worker.Worker: hadoop002: full log in /opt/soft/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop002.out hadoop003: starting org.apache.spark.deploy.worker.Worker, logging to /opt/soft/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop003.out hadoop003: failed to launch org.apache.spark.deploy.worker.Worker: hadoop003: full log in /opt/soft/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-hadoop003.out

8.停止spark集群

#在主节点上停止spark集群

/opt/soft/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh

9.Spark可视化界面

正常启动spark集群后，可以通过访问 http://hadoop001:8080,查看spark的web界面，查看相关信息。

以上就是最简单的集群搭建。但是没有做高可用部分。下面就要介绍高可用的配置，安装是一样的，只不过配置略有不同。

二、Spark高可用部署

1. 高可用部署说明

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：

（1）基于文件系统的单点恢复(Single-Node Recovery with Local File System)。

主要用于开发或测试环境。当spark提供目录保存spark Application和worker的注册信息，并将他们的恢复状态写入该目录中，这时，一旦Master发生故障，就可以通过重新启动Master进程（sbin/start-master.sh），恢复已运行的spark Application和worker的注册信息。

（2）基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)。

用于生产模式。其基本原理是通过zookeeper来选举一个Master，其他的Master处于Standby状态。将spark集群连接到同一个ZooKeeper实例并启动多个Master，利用zookeeper提供的选举和状态保存功能，可以使一个Master被选举成活着的master，而其他Master处于Standby状态。如果现任Master死去，另一个Master会通过选举产生，并恢复到旧的Master状态，然后恢复调度。整个恢复过程可能要1-2分钟。

2. 基于zookeeper的Spark HA高可用集群部署

该HA方案使用起来很简单，首先需要搭建一个zookeeper集群，然后启动zooKeeper集群，最后在不同节点上启动Master。

具体配置如下：

(1)vim spark-env.sh

注释掉 export SPARK_MASTER_HOST=hadoop001 （这里是在完成前面基础上进行这一步，如果 直接搭建高可用，自步骤忽略）

(2)在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS，内容如下：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url= hadoop001:2181,hadoop002:2181,hadoop003:2181  -Dspark.deploy.zookeeper.dir=/spark"

参数说明

spark.deploy.recoveryMode：恢复模式（Master重新启动的模式）

有三种：(1)ZooKeeper (2) FileSystem (3)NONE

spark.deploy.zookeeper.url：ZooKeeper的Server地址

spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。

包括Worker，Driver和Application。

注意：

在普通模式下启动spark集群，只需要在主机上面执行start-all.sh 就可以了。

在高可用模式下启动spark集群，先需要在任意一台节点上启动start-all.sh命令。然后在另外一台节点上单独启动master。命令start-master.sh。