hadoop完全分布式基础上搭建spark集群
此部分内容是建立在前面的hadoop集群搭建基础之上的，具体参考：centos7+hadoop2.8.0+VMware搭建完全分布式集群，但是要注意的是因为后面重新搭建了一次hadoop，用的jdk版本改成了jdk1.8.0_171，所以在安装时要注意统一！
步骤
一、在master上安装Spark依赖的Scala并配置环境变量
二、在master上下载和解压缩Spark并配置相关文件
三、将相关文件传送给slave1和slave2节点，配置spark集群
四、启动spark集群并测试
Scala下载链接：https://downloads.lightbend.com/scala/2.11.6/scala-2.11.6.tgz
spark下载链接：http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz
一、在master上安装Spark依赖的Scala并配置环境变量
1.1 在master主机的/opt/hadoop目录下创建文件夹spark，用来存放scala和spark的安装包
1.2 进入master主机的/opt/hadoop目录，下载scala压缩文件
下载命令：wget https://downloads.lightbend.com/scala/2.11.6/scala-2.11.6.tgz
1.3 解压scala压缩文件，解压命令：tar xvf scala-2.11.6.tgz，并将解压后的文件移动到/opt/hadoop/spark目录下，
命令为：mv scala-2.11.6 /opt/hadoop/spark
1.4 修改profile文件，我的scala安装包路径为/opt/hadoop/spark/scala-2.11.6，因此在/etc/profile文件中添加如下两行内容：
保存后source /etc/profile使其生效
1.5 查看Scala版本：scala -version
二、在master上下载和解压缩Spark并配置相关文件
2.1 与下载scala步骤一样，cd进/opt/hadoop目录下，执行下载命令，然后解压并移动到/opt/hadoop/spark目录下
下载命令：wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz
解压命令：tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz
2.2 修改profile并使之生效
在/etc/profile文件中添加如下两行内容，保存后source使其生效
2.3 启动spark-shell交互界面
输入spark-shell命令后大概会出现如下内容，说明spark安装好了，但是要与hadoop关联还需要进一步设置，下面会说
2.4 配置spark-env.sh文件
spark的配置文件所在目录为/opt/hadoop/spark/spark-2.1.0-bin-hadoop2.6/conf/，刚安装完后里面只有一些文件模板，因此要复制模板并重命名
命令为：cp spark-env.sh.template spark-env.sh
编辑spark-env.sh文件，添加如下内容：
export JAVA_HOME=/opt/java/jdk1.8.0_171
export SCALA_HOME=/opt/hadoop/spark/scala-2.11.6
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.8.0/etc/hadoop
export SPARK_MASTER_IP=192.168.89.134
export SPARK_MASTER_HOST=192.168.89.134
export SPARK_MASTER_PORT=7077
export SPARK_LOCAL_IP=192.168.89.134//后面传送完spark到各个节点后，这个地方要改成各个节点自己的ip
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/hadoop/spark/spark-2.1.0-bin-hadoop2.6
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/hadoop-2.8.0/bin/hadoop classpath)jdk1.8.0_171
export SCALA_HOME=/opt/hadoop/spark/scala-2.11.6
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.8.0/etc/hadoop
export SPARK_MASTER_IP=192.168.89.134
export SPARK_MASTER_HOST=192.168.89.134
export SPARK_MASTER_PORT=7077
export SPARK_LOCAL_IP=192.168.89.134//后面传送完spark到各个节点后，这个地方要改成各个节点自己的ip
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/hadoop/spark/spark-2.1.0-bin-hadoop2.6
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/hadoop-2.8.0/bin/hadoop classpath)
2.5 配置slaves文件
执行命令：cp slaves.template slaves
修改slaves文件，注释或删除掉localhost，然后添加节点名
三、将相关文件传送给slave1和slave2节点，配置spark集群
3.1 压缩spark文件夹，并传送给slave1和slave2节点
spark文件夹存放的是scala和spark安装包，并在上一节做好了配置，因此可以直接将其压缩后发送到各节点
首先压缩在spark文件夹，在/opt/hadoop/目录下执行命令：tar -zcf ./spark.master.tar.gz ./spark
然后执行命令将压缩文件传送到各个节点：
[root@master hadoop]#scp ./spark.master.tar.gz slave1:/opt/hadoop
[root@master hadoop]#scp ./spark.master.tar.gz slave2:/opt/hadoop
3.2 在slave1和slave2中分别解压缩spark文件夹
在两个节点中执行命令：
[root@master hadoop]# tar -zxf /opt/hadoop/spark.master.tar.gz -C /opt/hadoop
此时会发现/opt/hadoop目录下多了spark文件夹
（注意：需要在各节点修改spark-env.sh文件的export SPARK_LOCAL_IP的值为各自的ip）
至此，hadoop+spark分布式集群搭建完成
四、启动spark集群并测试
4.1 启动Hadoop集群
启动Spark集群前，要先启动Hadoop集群，在Master节点上运行如下命令启动hadoop集群：
分别在master和slave中运行jps，查看进程启动情况
master
slave1
slave2
说明hadoop集群启动成功
4.2 启动spark集群
进入/opt/hadoop/spark/spark-2.1.0-bin-hadoop2.6/sbin，执行命令./start-all.sh，启动集群。
（注意，一定要加“./”，要不然会启动hadoop的start-all.sh命令）
启动完成后，再次在master和slave节点执行jps查看进程，发现多了master和worker进程
master
slave1
slave2
最后在浏览器中访问http://192.168.89.134:8080/，可以看到集群信息，至此spark集群搭建完成！
最后，发现一个比较好的博客，大数据人工智能方面的，可以学习：http://www.cnblogs.com/zlslch/