Spark3.2教程（九）CentOS7下Spark Standalone分布式搭建
Spark搭建方式有local、Standalone、on Yarn等。
- local模式适合程序的开发测试
- Standalone模式适合小规模数据
- on Yarn适合大数据量大，并且可能依赖于其他计算引擎，如MapReduce，这样可以更好的和Hadoop集成
因为Spark本质上是一个计算引擎，对于学习它而言，用本地模式就可以，实际工作中会有专门人员根据实际情况进行合适模式的搭建。
但是作为想要提高自己认知的学习者，还是有必要在Linux下搭建一套环境的。我们本次在3台节点上搭建一个Spark Standalone模式的分布式集群环境。
Linux环境为CentOS7，JDK1.8，Spark3.2.0，因为是Standalone模式，Hadoop可有可无。
版本选择，避免踩坑请看：
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑
三台虚拟机如下所示，其中hp1为主结点。
| 主机名 | IP地址 |
|---|---|
| hp1 | 192.168.150.101 |
| hp2 | 192.168.150.102 |
| hp3 | 192.168.150.103 |
| 一、静态IP、关闭防火墙，关闭selinux，修改hosts做一个映射，修改ip地址 | |
| 参见：Hadoop3.3.1详细教程（二）样机配置 | |
| 二、安装JDK | |
| 参见：Hadoop3.3.1详细教程（三）克隆样机+JDK安装 | |
| 三、免密登录 | |
| 参见：Hadoop3.3.1详细教程（四）Linux集群搭建+免密登录 |
搭建Spark：
1.将spark-3.2.0-bin-hadoop3.2-scala2.13.tgz上传到/apps文件夹下
2.解压至/usr/local下
tar -zxvf /apps/spark-3.2.0-bin-hadoop3.2-scala2.13.tgz -C /usr/local
3.为其创建一个软连接：
ln -s /usr/local/spark-3.2.0-bin-hadoop3.2-scala2.13 /usr/local/spark3
4.配置环境变量
vi /etc/profile.d/spark.sh
export SPARK_HOME=/usr/local/spark3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使之生效：
source /etc/profile.d/spark.sh
5.修改配置文件
在spark/conf目录下
复制spark-env.sh.template文件，命名为 spark-env.sh
cp spark-env.sh.template spark-env.sh
在里面最后追加上：
export JAVA_HOME=$JAVA_HOME
export SPARK_HOME=$SPARK_HOME
复制workers.template文件，命名为 workers
和Hadoop一样，设置从结点，将里面内容替换为：
hp2
hp3
6,将hp1配置好的Spark、环境变量分发到hp2、hp3
scp -r /usr/local/spark-3.2.0-bin-hadoop3.2-scala2.13/ hp2:/usr/local
scp -r /usr/local/spark-3.2.0-bin-hadoop3.2-scala2.13/ hp3:/usr/local
scp -r /etc/profile.d/spark.sh hp2:/etc/profile.d
scp -r /etc/profile.d/spark.sh hp3:/etc/profile.d
并分别进入hp2、hp3创建软连接、并让它们的环境变量生效。
7.启动：
启动Spark的命令和Haooop一样，都是start-all.sh，因为本集群之前已经搭建好了Hadoop，所以这时候直接输入start-all.sh，只会启动Hadoop。在这种情况下，可以通过加$SPARK_HOME前缀的方式找到start-all.sh启动。
$SPARK_HOME/sbin/start-all.sh
jps主结点会有Master进程，从结点会有Worker进程。
访问WEB UI界面：
8.测试
在启动Spark的时候，控制台会打印出一行信息来，这就是Master的URL，在接下来的运行jar时候，需要指定。
spark://hp1:7077
通过Spark自带的PI程序测试：
spark-submit --class org.apache.spark.examples.SparkPi --master spark://hp1:7077 --num-executors 2 /usr/local/spark3/examples/jars/spark-examples_2.13-3.2.0.jar
可以在打印的日志中，找到结果值：
通过WEB UI可以看到运行、结束的任务信息。
