Spark2.1.0完全分布式环境搭建

以下操作都在Master节点以Hadoop用户进行操作。
1）下载二进制包spark-2.1.0-bin-hadoop2.7.tgz
2）解压并移动到相应目录
3）修改相应的配置文件
vi ~/.bash_profile
添加：

export SPARK_HOME=/home/hadoop/chadoop/spark/spark-2.1.1-bin-hadoop2.6/
export PATH=$PATH:$SPARK_HOME/bin

　复制spark-env.sh.template成spark-env.sh
　　cp spark-env.sh.template spark-env.sh
修改$SPARK_HOME/conf/spark-env.sh，添加如下内容：

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
#export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/home/hadoop/chadoop/hadoop/hadoop-2.5.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=47.93.10.102
export SPARK_MASTER_HOST=47.93.10.102
export SPARK_LOCAL_IP=172.17.182.176
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/home/hadoop/chadoop/spark/spark-2.1.1-bin-hadoop2.6
export SPARK_DIST_CLASSPATH=$(/home/hadoop/chadoop/spark/spark-2.1.1-bin-hadoop2.6/bin/hadoop classpat
h)

复制slaves.template成slaves
cp slaves.template slaves
修改$SPARK_HOME/conf/slaves，添加如下内容：
master
slave1
slave2
4）将配置好的spark文件复制到Slave1和Slave2节点。
　　scp…
　　scp…
　　5）修改Slave1和Slave2配置。
　　在slave1和slave2上分别修改~/.bash_profile，增加Spark的配置，过程master一样。
　　在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=masterip改成Slave1和Slave2对应节点的IP。
　6）在Master节点启动集群。

　source ~/.bash_profile
　$SPARK_HOME/sbin/start-all.sh

7）查看集群是否启动成功：
　　jps
　　Master在Hadoop的基础上新增了：
　　Master
　　
　　Slave在Hadoop的基础上新增了：
　　Worker

具体使用：《科普Spark，Spark是什么，如何使用Spark》