CentOS6.8_Spark单机部署

首先需要JDK

下载安装JDK

下载spark

wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz

创建安装目录

mkdir /software

移动安装文件到新建目录

mv ./spark-1.6.3-bin-hadoop2.6.tgz /sortware/

切换目录

cd /software

解压

tar xzvf spark-1.6.3-bin-hadoop2.6.tgz
cd spark-1.6.3-bin-hadoop2.6.tgz
pwd
复制打印出来的地址

修改配置文件 conf/

mv spark-env.sh.template spark-env.sh

我们默认安装不用修改目录

配置环境变量 vim /etc/profile

export SPARK_HOME=/software/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使环境变量生效

source /etc/profile

执行测试

spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar