Spark 运行模式----Standalone模式

构建一个由Master + Slave 构成的 Spark 集群，Spark 运行在集群中。

这个要和Hadoop 中的 Standalone 区别开来. 这里的 Standalone 是指只用 Spark 来搭建一个集群, 不需要借助其他的框架.是相对于 Yarn 和 Mesos 来说的.

进入Spark/conf配置文件目录下，配置spark-evn.sh

cd conf/ 

mv spark-env.sh.template spark-env.sh

1. 在spark-env.sh文件中配置如下内容:

SPARK_MASTER_HOST=hadoop102

SPARK_MASTER_PORT=7077#默认端口就是7077, 可以省略不配

2. 修改slaves文件, 添加 worker 节点

mv slaves.template slaves

3. 在slaves文件中配置如下内容:

hadoop103

hadoop104

4. sbin/spark-config.sh中添加入JAVA_HOME

vi spark-config.sh

export JAVA_HOME=/opt/module/jdk8

5. 分发 spark-standalone

scp -r /opt/module/spark hadoop103:/opt/module/

scp -r /opt/module/spark hadoop104:/opt/module/

scp /etc/profile root@hadoop103:/etc

scp /etc/profile root@hadoop104:/etc source 

/etc/profile 刷新配置

6. 启动Spark集群

sbin/start-all.sh

7.使用jps查看，或者在网页中查看Spark集群情况

http://192.168.1.102:8080/