Spark伪分布式集群搭建

---

软件准备

• 一台Linux虚拟机
  我用的CentOS-6.6的一个虚拟机，主机名为repo
  参考在Windows中安装一台Linux虚拟机

• spark安装包
  下载地址：https://mirrors.aliyun.com/apache/spark/
  我用的spark-2.2.0-bin-hadoop2.7.tgz
  要根据自己机器中的hadoop版本选择对应的spark版本

---

(1) 把安装包上传到服务器并解压

[root@repo soft]# tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/

# 解压后如果感觉安装目录的名称太长可以修改一下
[root@repo soft]# cd /opt
[root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

(2) 修改spark-env.sh配置文件

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh
[root@repo opt]# cd spark-2.2.0/conf/
[root@repo conf]# cp spark-env.sh.template spark-env.sh

# 修改spark-env.sh配置文件，添加如下内容
[root@repo conf]# vim spark-env.sh

# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上
# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配
export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop

# 设置Master的主机名
export SPARK_MASTER_HOST=repo
# 提交Application的端口，默认就是这个，万一要改呢，改这里
export SPARK_MASTER_PORT=7077
# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个...
# 真实服务器如果有32个，你可以设置为32个
export SPARK_WORKER_CORES=1
# 每一个Worker最多可以使用的内存，我的虚拟机就2g
# 真实服务器如果有128G，你可以设置为100G
export SPARK_WORKER_MEMORY=2g

(3) 修改slaves配置文件

[root@repo conf]# cp slaves.template slaves
[root@repo conf]# vim slaves

# 里面的内容原来为localhost，改为repo
repo

# 伪分布式就一台机器，用localhost也可以
# 但我们毕竟搭建的是伪分布式集群，注意，是集群
# 改成repo心里可能更相信它是一个分布式集群

(4) 配置SPARK_HOME环境变量

[root@repo conf]# vim /etc/profile

export SPARK_HOME=/opt/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[root@repo conf]# source /etc/profile

(5) 启动spark伪分布式集群

注意：

• 上一步配置了SPARK_HOME，所以在任意位置使用start-all.sh就可以启动spark集群
• 但是，如果你也配置了HADOOP_HOME，在HADOOP_HOME/sbin目录下，也有start-all.sh和stop-all.sh这两个命令
• 那么当你执行start-all.sh这个命令，可能会出错，尤其是执行stop-all.sh命令，如果你要停止spark集群，系统给你关闭了hadoop集群，不说了...

解决办法：

1. 启动或关闭spark集群，即使你配置了环境变量，还是进入spark的sbin目录下去操作吧，那还配SPARK_HOME干嘛？我们可以在任意位置执行提交spark任务的命令。

[root@repo conf]# cd /opt/spark-2.2.0/sbin/
[root@repo sbin]# ./start-all.sh

2. 把SPARK_HOME/sbin/目录下的start-all.sh和stop-all.sh两个命令修改一下名字，比如分别修改为start-spark-all.sh和stop-spark-all.sh，然后再执行，就不会与hadoop的命令冲突了

[root@repo sbin]# mv start-all.sh start-spark-all.sh
[root@repo sbin]# mv stop-all.sh stop-spark-all.sh

[root@repo sbin]# start-spark-all.sh

说明：

• 如果你的配置文件中配置了HADOOP_CONF_DIR，在启动spark集群之前，先启动hadoop集群

(6) 验证

[root@repo sbin]# jps
8576 Jps
8449 Master
8504 Worker

访问WEB页面

spark伪分布式集群搭建成功！