Spark集群部署

Spark下载以及目录

下载Spark

下载源码

解压：

进入到目录当中：

bin目录

conf目录

需要配置的有两个文件： slaves.template， spark-env.sh.template

start-all.sh启动Spark集群

---

修改配置文件

在spark-env.sh当中

# 配置Java环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_65/
# 配置master的地址
export SPARK_MASTER_HOST=node-1
# 配置master的端口
export SPARK_MASTER_PORT=7077

指定slaves：
在配置文件当中添加相应的从节点：

给Linux添加Spark环境变量：
在/etc/profile中添加：

将Spark分发到其它节点上：

$PWD指代和当前目录一致

同时分发到node-3中：

将/etc/profile也copy到node-2和node-3上：

到这里，整个Spark集群就安装好了。

---

启动Spark集群

在主节点上启动：
在Spark下的sbin目录中，运行这个./start-all.sh脚本，不要运行start-all.sh，这个是Hadoop启动的命令。

node-1是Master，node-2和node-3是Worker：

使用jps命令可以查看到node-1上启动了Master，其余两个节点启动了Worker。

查看Spark的Web管理界面

访问：node-1:8080

注意这里的URL是在spark-env.sh当中配置的。
Drivers可以理解为客户端，针对每一个Application都有一个Drivers。
整个集群的核数就是Worker核数的总和。内存同理。

停止Spark集群

对集群的关闭：

使用jps命令查看，Spark进程已经结束。