Spark基础（1）——搭建Spark开发环境、UI界面查看spark集群

可直接从2.Spark部署开始操作

目录

1.环境前提

1.1已经搭建好hadoop环境

1.2我的参考配置环境

2.Spark部署

2.1下载spark安装包

2.2解压spark安装包

2.2.1上传安装包

2.2.2解压至/export/servers/目录

 2.3修改配置文件

 2.3.1修改spark-env.sh 

 2.3.2修改slaves文件

2.4分发文件

 2.5启动spark集群

2.6网页上查看spark

---

1.环境前提

1.1已经搭建好hadoop环境

Hadoop环境部署，参考我专栏里Hadoop专栏

1.2我的参考配置环境

Linux系统：CentOS-6.8版本

Hadoop：2.7.4版本

JDK：1.8版本

Spark：2.3.2版本

2.Spark部署

Standalone模式（主从）

2.1下载spark安装包

安装包下载网址：

​​​​​​ Downloads | Apache Spark

标1：现在比较稳定的版本为3.2.1。和支持的Hadoop版本

标2、标3：查看spark其他版本（向下滑动查看标3)

因为我要下载2.3.2版本，所以点击标3

选择2.3.2版本

 下载对应版本

2.2解压spark安装包

在hadoop01（主从结构上的主机）上进行安装配置

2.2.1上传安装包

输入：cd /export/software/

输入：ls

输入：rz 

选择下载好的spark安装包的路径，双击安装包 

时间较长，需要等待（我用的是XShell软件，其他的下载框可能会不一样）

 下载完成后，输入：ls           可以查看到已经有这个安装包在了

2.2.2解压至/export/servers/目录

输入：tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/

 等待界面：时间较长，耐心等待

查看是否解压完成

输入：cd /export/servers

输入：ls

可以看到已经有安装包在这里了

 

 为了方便以后使用，给安装包重命名为spark，并检查是否完成

输入：mv spark-2.3.2-bin-hadoop2.7/ spark

输入：ls

 2.3修改配置文件

在/export/servers目录下

输入: cd /spark

输入：ls

输入：cd conf/

 拷贝模板文件并查看

输入：cp spark-env.sh.template spark-env.sh 

输入：ls

 2.3.1修改spark-env.sh 

输入：vi spark-env.sh

再最后面添加上（前提：该文件未配置过此设置）：

#配置Java环境变量(自己Java的路径)

export JAVA_HOME=/export/servers/jdk

#指定master的IP（该机的本主机名）
#查看主机名：vi /etc/hosts

export SPARK_MASTER_HOST=hadoop01

#指定master的端口

export SPARK_MASTER_PORT=7077

输入：：wq保存退出

 2.3.2修改slaves文件

在/export/servers/spark/conf/目录下

输入：ls

输入：cp slavers.template slaves

输入：vi slaves

 滑到最后，删掉localhost

添加上：hadoop02 hadoop03

 

 保存退出后回到servers目录下 

2.4分发文件

将spark目录分发至hadoop02和hadoop03节点

输入：scp -r spark/ hadoop02:/export/servers/

 等待

 完成后，在hadoop02上检查是否分发完毕

输入：cd /export/servers/

输入：ls

发现有spark文件。

 hadoop03同样这样操作

 2.5启动spark集群

只能在/export/servers/spark上执行该指令

输入：sbin/start-all.sh

 等待

等待后，查看是否启动完毕

输入：jps

出现了Master即为可以，在hadoop02，hadoop03上也这样操作

 

2.6网页上查看spark

 网页上输入：http://hadoop01:8080