spark环境搭建，en

准备

首先，安装Spark需要检查是否安装jdk

下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

Spark安装不一定需要安装Hadoop，若已搭建Hadoop集群，建议下载对应版本Hadoop

解压安装包

# 解压Spark安装包到指定路径
tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C  /opt/softs
# 为方便使用，可建立软链接
ln -s spark-2.2.0-bin-hadoop2.7 spark

配置环境变量

vi /etc/profile

# 增加内容
export SPARK_HOME=/opt/install/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

# 使环境变量生效
source /etc/profile

配置文件

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

# 增加内容
# jdk安装目录
export JAVA_HOME=/opt/softs/java8
# hadoop安装路径
export HADOOP_HOME=/opt/install/hadoop
# hadoop配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#指定master的主机
export SPARK_MASTER_HOST=hadoop101
#指定master的端口
export SPARK_MASTER_PORT=7077

# slaves单台可以不配置，也可以按下面方式配置
cp slaves.template slaves
vi slaves 
# 增加内容	删掉localhost
hadoop1	#节点名

启动Spark集群

在spark目录下sbin/start-all.sh

输入jps，查看是否有Master和Worker进程

启动spark-shell

• 测试scala交互式环境

spark-shell --master spark://hadoop1:7077

可以通过浏览器访问：http://hadoop101:8080/

• 测试Spark on YARN

spark-shell --master yarn

可以通过浏览器访问：http://hadoop:4041/