单机部署spark环境

最近需要搭建单机版sprak环境，分享一下：

 

1.首先准备软件包

下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

2.解压到对应目录后，修改配置文件（前提Java已经安装过了）

解压的Linux命令：tar   -zxvf  spark-2.4.3-bin-hadoop2.7.tgz

3.配置环境变量

a.进入到解压的目录，找到conf文件夹 slaves.template 去掉templat后缀，为slaves，进入slaves末尾添加localhost保存

或者copy一份也是可以的  cp  slaves.template slaves

修改内容为：

b.  spark-env.sh.template  去掉template后缀为 spark-env.sh进入spark-env.sh 在末尾添加如下，

export JAVA_HOME=/home/usr/java/jdk1.8.0_11  (改为自己本机地址)

export SPARK_MASTER_HOST=192.168.**.46 (改为自己本机的ip)

export SPARK_MASTER_POST=7077

#export SPARK_EXECUTOR_MEMORY=512M（设置调整内存空间）
#export SPARK_WORKER_MEMORY=1G

#export SCALA_HOME=/opt/scala-2.13.0（设置scala运行环境，前提已安装scala）

copy一份spark-env.sh：cp  spark-env.sh.template spark-env.sh

c.修改 /etc/hosts   vi  /etc/hosts添加127.0.0.1  bogon  localhost  （bogon根据主机名更改）

至此spark单机已经安装Ok了，接下来启动一下，检测一下：

sbin/start-all.sh

访问 测试：

Ok，至此轻松搞定