spark集群使用hadoop用户运行,集群机器如下:

1 DEV-HADOOP-01 192.168.9.110 Master
2 DEV-HADOOP-02 192.168.9.111 Worker
3 DEV-HADOOP-03 192.168.9.112 Worker


现在需要添加一台192.168.9.113 机器名DEV-HADOOP-04的节点作为Worker.需要执行一下操作:


  1. 配置Master到新增节点hadoop用户的无密码登录

  2. 每个节点添加的/etc/hosts

  3. 安装JDK1.8.0_60

  4. 安装scala

    1. 从Master拷贝scala scp -r scala-2.11.7 [email protected]:/data/server/

    2. 设置环境变量 /etc/profile

      1. export SCALA_HOME=/usr/scala/scala-2.11.7

      2. 使配置生效 source /etc/profile

    3. 更改scala-2.11.7的用户和组 chown -R hadoop:hadoop scala-2.11.7

  5. 安装spark

    1. 从Master拷贝spark scp -r spark-1.5.0-bin-hadoop2.6 [email protected]:/data/server/

    2. 配置环境变量 /etc/profile

      1. export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6

      2. export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

      3. 使配置生效 source /etc/profile

  6. 修改集群的slaves配置文件,新增新增节点DEV-HADOOP-03

  7. 启动新增节点

    1. sbin/start-slave.sh spark://DEV-HADOOP-01:7077

  8. 新增节点启动验证

    1. 执行jps命令,slave可以看到Worker进程

  9. 查看Spark UI

    1. 看到Workers中有新增节点