Spark集群搭建

Spark(standalone)集群搭建

• 1.修改配置文件名

修改slave.template为slave
命令——mv slave.template slave
修改spark-env.sh.template为spark-env.sh
命令——mv spark-env.sh.template spark-env.sh

• 2.修改配置文件
  修改slave文件
  node02
  node03
  node04
  注：以上为worker节点ip地址，可以写ip地址
  修改spark-env.sh文件
  SPARK_MASTER_IP=node01(master节点地址)
  SPARK_MASTER_PORT=7077(对外(其他节点通信时)服务端口)
  SPARK_WORKER_CORES=3(每个worker节点可支配的核数)
  SPARK_WORKER_MEMORY=1G(每个worker节点可管理的内存)
  SPARK_WORKER_INSTANCES=1(每个节点上启动的worker个数)
  SPARK_WORKER_DIR=/…(worker的工作目录，可以手动设置)
• 3.将配置好的安装包同步到其他节点
  命令——

scp -r spark-1.6.3 node02:`pwd`
scp -r spark-1.6.3 node03:`pwd`
scp -r spark-1.6.3 node04:`pwd`

• 4.配置环境变量
  注：配置环境变量前要修改bin目录下的start-all.sh这个命令，避免和hdfs集群命令重复
  命令——mv start-all.sh start-spark.sh
• 5.启动集群
  命令——start-spark.sh
• 6.监控页面
  http://node01:8080
• 7.提交应用程序进行测试

./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar 10

未完待续…