spark 安装详细步骤

1.下载 spark 安装包

选择自己Hadoop对应的版本,不然会不兼容

spark下载链接
spark 安装详细步骤_第1张图片

2.解压

tar -zvxf spark.2.3

3.删除安装包,修改解压后的文件名字

rm -rf  安装包名
mv spark-2.3.4-bin-hadoop2.7 spark

spark 安装详细步骤_第2张图片
4. 配置文件
进入到spark 目录下

cd conf

spark 安装详细步骤_第3张图片
(1).修改配置文件名字:

mv spark-env.sh.template     spark-env.sh
vim spark-env.sh

(2).并往里添加几行代码:

export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/local/java/jdk
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
SPARK_MASTER_IP=Master11                            #这里的Master11是我的主机名
SPARK_LOCAL_DIRS=/usr/local/spark
SPARK_DRIVER_MEMORY=1G

(3).保存并退出:wq

(4).编辑slaves

mv slaves.template slaves
vim slaves

里面的内容改成自己的子节点的名称:
spark 安装详细步骤_第4张图片

5.远程把spark传给两个节点:
进入到Scala的上一级目录:
spark 安装详细步骤_第5张图片

 scp -r spark/ Master2:/usr/local/
 scp -r spark/ Master3:/usr/local/

把Scala也一起传过去

 scp -r scala/ Master2:/usr/local/
 scp -r scala/ Master3:/usr/local/

6.进入到spark的sbin目录 启动集群

spark 安装详细步骤_第6张图片

[root@Master11 spark]# cd sbin
[root@Master11 sbin]# ./start-all.sh

在这里插入图片描述

jps

主机上:有Master
在这里插入图片描述
节点上:有Worker

在这里插入图片描述
在这里插入图片描述

安装完毕!!

7.启动spark shell

进入spark bin 目录
spark 安装详细步骤_第7张图片

[root@Master11 bin]# spark-shell

spark 安装详细步骤_第8张图片

完美!!

你可能感兴趣的:(Spark)