spark集群配置

目录

1.集群部署规划

2.安装Spark

3.文件配置

4. 分发文件

5.启动集群

6.查看集群

1.集群部署规划

表1-1 集群部署规划

主机名	master	slave1	slave2
HDFS	NameNode DataNode	SecondaryNameNode DataNode	DataNode
YARN	ResourceManager NodeManage	NodeManage	NodeManager
Spark	Master Worker	Worker	Worker

2.安装Spark

          进入/export/software目录，将spark软件包导入该目录下。解压spark软件包 到/export/servers目录下，并重命名为spark。

[root@master ~]# cd /export/software/
[root@master software]# rz -be
[root@master software]# ls
[root@master software]# tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /export/servers/
[root@master software]# cd /export/servers/
[root@master servers]# mv spark-3.0.3-bin-hadoop3.2 spark

3.文件配置

        配置spark-env.sh。

[root@master servers]# cd spark/
[root@master spark]# cd conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh

export JAVA_HOME=/export/servers/jdk
export HADOOP_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
export SPARK_MASTER_IP=192.168.38.128
export SPARK_MASTER_PORT=7077

      配置slaves文件。

[root@master conf]# cp slaves.template slaves
[root@master conf]# vi slaves

         master

         slave1

         slave2

        该文件中写入哪个主机名，哪个主机就会存在worker节点。按照集群部署规划，slave1和slave2主机拥有worker，因此写入这两行内容。

        配置Spark环境变量。将以下内容写入配置文件/etc/profile末尾，并source使之生效。

         export SPARK_HOME=/export/servers/spark
         export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

  4. 分发文件

        将spark远程发送到其他集群

[root@master conf]# cd /export/servers/
[root@master servers]# scp -r /export/servers/spark slave1:/export/servers/
[root@master servers]# scp -r /export/servers/spark slave2:/export/servers/

5.启动集群

首先启动Hadoop集群。（命令省略）

启动Master节点。

[root@master ~]#start-master.sh

启动Slave节点。

[root@master ~]#start-slaves.sh

6.查看集群

                集群进程与集群部署规划一致。

[root@master servers]# jps.sh
[root@master spark]# jps.sh
**********master**********
3778 Worker
3091 ResourceManager
2660 DataNode
3702 Master
2507 NameNode
3835 Jps
3247 NodeManager
**********slave1**********
1920 DataNode
2403 Jps
2040 SecondaryNameNode
2139 NodeManager
2349 Worker
**********slave2**********
1923 DataNode
2260 Worker
2054 NodeManager
2314 Jps

        查看Spark页面

   启动成功后，可以通过“host:port”的方式来访问Spark管理页面，例如：http://192.168.38.128:8080