六、Spark集群搭建

本系列目录：

一、CentOS集群搭建(1)--CentOS安装篇

一、CentOS集群搭建(2)--CentOS设置篇

一、CentOS集群搭建(3)

二、Hadoop集群搭建

三、Hive搭建（不需要搭建集群）

四、Zookeeper集群搭建

五、kafka集群搭建

六、Spark集群搭建

本节所需的安装包有：

※spark-2.0.2-bin-hadoop2.7.tgz

1 安装spark包

1.1 将spark-2.0.2-bin-hadoop2.7.tgz主机Mac的终端分别传输到a1中的/usr/local目录下

1.2 使用命令进行解压缩spark-2.0.2-bin-hadoop2.7.tgz，

命令为：tar -zvxf spark-2.0.2-bin-hadoop2.7.tgz

1.3 重命名：mv spark-2.0.2-bin-hadoop2.7 spark

1.4 配置spark相关的环境变量

vi ~/.bashrc

export SPARK_HOME=/usr/local/spark

export PATH=$SPARK_HOME/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source ~/.bashrc

2 修改spark-env.sh文件

2.1 键入命令：cd /usr/local/spark/conf

2.2 键入命令：mv spark-env.sh.template spark-env.sh

2.3 修改spark-env.sh，命令：vi spark-env.sh

添加如下代码，如图6.1.1所示

###jdk安装目录

export JAVA_HOME=/usr/java/latest

###scala安装目录

export SCALA_HOME=/usr/local/scala

###spark集群的master节点的ip，a1

export SPARK_MASTER_IP=192.168.43.107

###指定worker节点能够最大分配给Excutors的内存大小

export SPARK_WORKER_MEMORY=1g

###hadoop集群的配置文件目录

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

图6.1.1

3 配置slaves文件

3.1 修改/usr/local/spark/conf/slaves.template的名字，命令：mv slaves.template slaves

3.2 键入命令：vi slaves

添加如下代码，如图6.1.2所示

a2

a3

图6.1.2

4  将a1中的spark、~/.bashrc通过scp命令拷贝a2、a3中，命令：

scp -r spark root@a2:/usr/local

scp -r spark root@a3:/usr/local

scp ~/.bashrc root@a2:~

scp ~/.bashrc root@a3:~

然后，在a2和a3中，分别执行命令：source ~/.bashrc，使得配置文件生效

5 启动Spark集群

5.1 首先进入/usr/local/spark/sbin目录下

5.2 执行./start-all.sh，结果如图6.1.3所示

图6.1.3

5.3 使用jps，8080端口，spark-shell进行检查集群是否启动成功，如图6.1.4、图6.1.5、图6.1.6所示

图6.1.4  a1中的进程

图6.1.5  a2中的进程

图6.1.6 a3中的进程

图6.1.7  主机Mac上浏览器上8080端口检查结果

图6.1.8  Spark-shell

至此Spark集群全部搭建完成~