【spark】spark安装部署（1）

目录

说在前面的话

spark安装与配置

 修改配置文件

 分发修改后的配置文件

启动查看

 打开浏览器查看

提交jar包并观察验证

---

说在前面的话

很遗憾这将是最近这段时间最后几篇文章了

我预估还会更新一个 kafka的安装部署和 链接虚拟机加装内存的帖子

因为spark 和 hive 基本上都是跟着书走

是书上的源码，所以大家可以去看

当然大家想要我学习时的文档可直接私信我

大家可以照着这两本教材学习

 

 

spark安装与配置

首先检查环境jps

 spark安装包至虚拟机

 使用最新版本

https://pan.baidu.com/s/1TfqxiinGBxCr3Y-RRYu3kA?pwd=1234    提取码：1234

上传

 

解压

 

 

 配置环境变量

 分发环境配置文件

 使环境变量起作用

 修改配置文件

spark-env.sh

 添加以下内容

export JAVA_HOME=/export/servers/jdk1.8.0_131
export SPARK_MASTER_HOST=hadoop001
export SPARK_MASTER_PORT=7077

export SPARK_HOME=/export/servers/spark-3.2.0-bin-hadoop3.2
export SCALA_HOME=/export/servers/scala-2.12.7/
export HADOOP_HOME=/export/servers/hadoop-3.1.4/
export HADOOP_CONF_DIR=/export/servers/hadoop-3.1.4/etc/hadoop
export YARN_CONF_DIR=/export/servers/hadoop-3.1.4/etc/hadoop
export SPARK_MASTER_IP=hadoop001
export SPARK_MASTER_HOST=hadoop001
#SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ha-01:2181,ha-02:2181,ha-03:2181 -Dspark.deploy.zookeeper.dir=/spark-ha"
SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8001

export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

 

复制并重命名workers.template配置文件

 添加以下内容

 分发修改后的配置文件

将配置文件分发给hadoop02和hadoop03

 

启动查看

启动hadoop001，使用命令：start-master.sh

查看进程，启动成功

 启动23，使用命令：start-slaves.sh

 

这里不知道为啥有俩worker

用kill -9 杀一个

再看一眼master，没有被关闭

 打开浏览器查看

打开浏览器输入hadoop001:8001

 

 

提交jar包并观察验证

spark-submit --master spark://192.168.153.100:7077 --class org.apache.spark.examples.SparkPi --executor-memory 512M  --total-executor-cores 2 /export/servers/spark-3.2.0-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.2.0.jar 1000

如遇侵权，请联系删除。