Spark集群搭建

集群的架构

集群搭建的准备工作

       把Spark安装包spark-1.6.3-bin-hadoop2.6.tgz拷贝到node1节点，使用tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz进行解压
       使用mv spark-env.sh.template spark-env.sh命令将spark目录下conf中的配置文件重命名。

修改slaves配置文件内容

       slaves配置文件里面放的是从节点的IP，将node02，node03，node04放入slaves中；
       注意：node02、node03、node04需要写一个换一行且注意后面没有空格

添加spark-env.sh配置信息

       SPARK_MASTER_PORT 主节点的IP
       SPARK_MASTER_IP 主节点的端口
       SPARK_WORKER_CORES 一个worker进程能管理几个核
       SPARK_WORKER_MEMORY 每个worker管理多少内存
       SPARK_WORKER_DIR worker路径
       SPARK_WORKER_INSTANCES 每个节点上启动的worker数
       JAVA_HOME JAVA路径
请根据自身节点完成配置。

将配置好的spark文件发往其他节点
scp -r spark-1.6.3 root@node2: /opt/software/
scp -r spark-1.6.3 root@node3:/opt/software/
scp -r spark-1.6.3 root@node4:/opt/software/

启动文件改名并启动

       进入node01节点中的spark目录下的sbin目录，将start-all.sh文件重命名为:start-spark.sh，命令mv start -all.sh start -spark.sh
最后在node01节点中命令行输入start -spark.sh来启动集群