Spark集群安装配置（最新最全）

一、实验目的

1.搭建spark集群
2.spark集群的启动、浏览与关闭
3.使用Eclipse编写spark应用程序包（安装maven和scala插件）
4.如何运行spark任务

二、实验环境

1.三台CentOS-7虚拟机，已安装好java环境
2.zookeeper集群已安装完成
3.hadoop集群已完成
4.集群概况：一台作为master节点，其余两台作为worker节点

 三.Spark集群环境部署

1.下载地址:http://spark.apache.org/downloads.html

2.上传压缩包至集群Master节点，开始解压安装

3.配置环境变量，并使其生效

4.配置spark相关文件

  (1)配置spark文件

  (2)配置slaves文件

5.配置完以上文件后，将Master主机的/home/admin/spark文件发送至其他两台主机

四.启动spark集群，验证

1.启动Hadoop集群

启动zookeeper：$zkServer.sh start

启动Hadoop：$start-all.sh

查看：jps

2.启动Master节点

3.启动所有的Slave节点

4.在浏览器上查看Spark独立集群管理器的集群信息

5.启动spark-shell

五.关闭spark集群

六.编写Spark应用程序

1.准备测试数据

hdfs://Cluster-01:9000/user/input/hello.txt

2.启动spark-shell,运行WordCount词频统计