Linux下安装Spark

环境

本文所用Linux版本为CentOS 7

先安装jdk

这是安装JDK的详细步骤：
https://blog.csdn.net/cherlshall/article/details/88974325

下载spark-2.4.0-bin-hadoop2.7

官网下载页面：
http://spark.apache.org/downloads.html

上传&安装

cd /opt
mkdir spark
cd spark
rz
tar -zvxf spark-2.4.0-bin-hadoop2.7

配置

配置spark-env.sh

cd conf/
mv spark-env.sh.template spark-env.sh
vim spark-env.sh

添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_191/
export SPARK_MASTER_HOST=192.168.146.128
export SPARK_MASTER_PORT=7077

配置slaves

mv slaves.template slaves
vim spark-env.sh
vim slaves

直接空白处添加所有Worker的IP，本机单节点的话可以直接写本机IP，也就是此节点既是master又是worker。

启动&停止

sbin/start-all.sh
sbin/stop-all.sh

访问

浏览器输入ip:8080