spark2.0.0安装部署指南

spark2.0.0安装部署指南

标签（空格分隔）： spark

---

[TOC]

下载安装包

spark2.0.0默认使用scala2.11进行编译，所以在这里我们下载2.11版本的scala

获取scala安装包:
wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
我们选择spark-2.0.0-bin-hadoop2.7.tgz作为我们本次安装部署的内容
http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz

安装scala

所有节点都需要做这个配置

目录规划

安装目录:/data/bigdata/scala-2.11.8

解压scala

tar -zvxf scala-2.11.8.tgz -C ../

配置环境变量

export SCALA_HOME=/data/bigdata/scala-2.11.8
PATH=$PATH:$SCALA_HOME/bin
export PATH

验证环境变量

> scala

配置Spark

目录规划

• 安装目录：/data/bigdata/spark
• 数据存放目录：/data/bigdata/data/spark
• 日志存放目录：/data/bigdata/logs/spark

解压并添加环境变量（所有节点）

tar -zvxf spark-2.0.0-bin-hadoop2.7.tgz  -C ../
mv spark-2.0.0-bin-hadoop2.7/ spark
vi ~/.bash_profile
export SPARK_HOME=/data/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin

修改spark-env.sh

 #cp spark-env.sh.template spark-env.sh
 #vi spark-env.sh

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_MASTER_IP=192.168.25.10
export SPARK_MASTER_PORT=8888
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1G
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_JAVA_OPTS="-verbose:gc -XX:-PrintGCDetails -XX:PrintGCTimeStamps"