linux spark 安装步骤

1.统一添加到环境变量  vim /etc/profile  以及  source /etc/profile

2.进入到spark的安装路径的conf文件中 使用cp spark-env.sh.template  spark-env.sh

3.vim spark-env.sh 添加如下内容:

export JAVA_HOME=/home/app/jdk1.8.0
export HADOOP_HOME=/home/app/hadoop-2.7.3
# export SCALA_HOME=/opt/scala/scala-2.11.8  #scala的安装路径
export HADOOP_CONF_DIR=/home/app/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=192.168.199.132
#export SPARK_WORKER_MEMORY=512M

4.使用cp slaves.template slaves #伪分布 可改可不改 默认localhost (全分布要改)添加一下内容:
主机名称或者IP

5.启动spark 回到spark的安装目录 使用./bin/start-all.sh 或者bin目录下./start-all.sh

 

它还有网页版的操作视图 

1.先开对应服务 ./bin/spark-shell

2.访问: http://主机名(IP):4040