spark yarn集群搭建（三：spark集群搭建）

spark yarn集群搭建（一：准备工作）

spark yarn集群搭建（二：hadoop集群搭建）

Master节点配置：

1. 进入/datamgt目录下下载二进制包spark-2.3.1-bin-hadoop2.7.tgz，解压并重命名
   tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz && mv spark-2.3.1-bin-hadoop2.7 spark
2. 修改全局变量/etc/profile
   • 修改/etc/profile，增加如下内容：

     export SPARK_HOME=/datamgt/spark/
     export PATH=$PATH:$SPARK_HOME/bin
     

   • 修改完成后执行：
     source /etc/profile
3. 修改spark配置文件
   • 进入spark配置目录:
     cd $SPARK_HOME/conf
   • $SPARK_HOME/conf/spark-env.sh

     #复制spark-env.sh.template成spark-env.sh
     cp spark-env.sh.template spark-env.sh
     #编辑spark-env.sh 添加：
     export JAVA_HOME=/usr/java/jdk1.8.0_65
     export SCALA_HOME=/usr/scala-2.12.6
     export HADOOP_HOME=/datamgt/hadoop
     export HADOOP_CONF_DIR=/datamgt/hadoop/etc/hadoop
     export SPARK_MASTER_IP=master
     export SPARK_WORKER_MEMORY=2g
     export SPARK_WORKER_CORES=2
     export SPARK_WORKER_INSTANCES=1
     

   • $SPARK_HOME/conf/slaves

     #复制slaves.template成slaves
     cp slaves.template slaves
     #编辑slaves，添加：
     master
     slave1
     slave2
     

salve节点配置：

1. 复制master节点的spark文件夹到slave1和slave2上:
   scp -r /datamgt/spark root@slave1:/datamgt && scp -r /datamgt/spark root@slave2:/datamgt
2. 修改slave1、slave2节点下的/etc/profile文件，过程与master一致

启动集群：

1. master节点启动之前格式化一下namenode
   hadoop namenode -format
2. master节点执行
   /datamgt/spark/sbin/start-all.sh

查看集群是否启动成功：

• 执行jps查看java进程
  1. master显示

  Master
  

  2. slave显示

  Worker
  

• 浏览器验证相应web页面是否可访问

  master:8080