Spark安装以及配置

01上传

cd /downlocals

02解压安装修改配置文件

tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz -C /usr/local/src/
mv  spark-2.0.2-bin-hadoop2.7.tgz spark

 
cd /usr/local/src
vi  spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)

#配置java环境变量
export JAVA_HOME=/opt/bigdata/jdk1.7.0_67
#指定spark老大Master的IP
export SPARK_MASTER_HOST=hdp-node-01
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077

#配置高可用版本 z
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=no

de01:2181,node02:2181,node03:2181 -Dspark.deploy.zookeeper.dir=/spark"
vi slaves 修改文件(先把slaves.template重命名为slaves)
hdp-node-02
hdp-node-03

03拷贝配置到其他主机

通过scp 命令将spark的安装目录拷贝到其他机器上
scp -r /opt/bigdata/spark node-02:/opt/bigdata
scp -r /opt/bigdata/spark node-03:/opt/bigdata

04配置spark环境变量

将spark添加到环境变量,添加以下内容到 /etc/profile
export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin
注意最后 source /etc/profile  刷新配置

05启动spark

在主节点上启动spark
/usr/local/src/spark/sbin/start-all.sh 

06停止spark

#在主节点上停止spark集群
/usr/local/src/spark/sbin/stop-all.sh 

spark的web界面

正常启动spark集群后，可以通过访问 http://hdp-node-01:8080,查看spark的web界面，查看相关信息
如果登录到其他web界面可以使用
ps -ef | grep spark