spark2.4.0安装

安装步骤

本文是spark2.4.0基于scala2.10.6的spark安装！
spark下载链接：http://mirrors.shu.edu.cn/apache/
scala下载链接：https://www.scala-lang.org/download/2.10.6.html

scala解压复制到所有节点

[hadoop@master ~]$ tar -zxvf scala-2.10.6.tgz
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave01:/home/hadoop/
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave02:/home/hadoop/

spark解压

[hadoop@master ~]$ tar -zxvf spark-2.4.0-bin-hadoop2.6.tgz

更改spark名字（个人习惯）

[hadoop@master ~]$ mv spark-2.4.0-bin-hadoop2.6 spark-2.4.0

配置环境变量

[hadoop@master ~]$ vi .bash_profile
PATH=$PATH:$HOME/bin
export HADOOP_HOME=/home/hadoop/hadoop-3.2.0
export HIVE_HOME=/home/hadoop/hive-3.1.1
export SPARK_HOME=/home/hadoop/spark-2.4.0
export SCALA_HOME=/home/hadoop/scala-2.10.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin

使环境变量生效

[hadoop@master ~]$ source .bash_profile

spark-env.sh文件配置

[hadoop@master ~]$ cd spark-2.4.0/conf/
[hadoop@master conf]$ cp spark-env.sh.template spark-env.sh
[hadoop@master conf]$ vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64 #Java环境变量
export SCALA_HOME=/home/hadoop/scala-2.10.6 #SCALA环境变量
export SPARK_MASTER_IP=master #驱动器节点IP
export SPARK_WORKING_MEMORY=1g #每一个worker节点上可用的最大内存
export HADOOP_HOME=/home/hadoop/hadoop-3.2.0 #Hadoop路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录

slaves文件配置

[hadoop@master conf]$ vi slave
slave01
slave02

spark目录文件同步到其他节点

[hadoop@master ~]$ scp -r /home/hadoop/spark-2.4.0/ slave01:/home/hadoop/
[hadoop@master ~]$ scp -r /home/hadoop/spark-2.4.0/ slave02:/home/hadoop/

启动spark

进入sbin目录启动spark

[hadoop@master ~]$ cd spark-2.4.0/sbin/
[hadoop@master sbin]$ ./start-all.sh

验证spark是否成功

jps命令查看

[hadoop@master sbin]$ jps
37777 RunJar
39362 Master # spark主进程
33829 NameNode
34278 ResourceManager
34055 SecondaryNameNode
38828 QuorumPeerMain
39423 Jps

[hadoop@slave01 ~]$ jps
29937 Jps
28610 NodeManager
29880 Worker # spark工作节点进程
28489 DataNode
29612 QuorumPeerMain

[hadoop@slave02 ~]$ jps
29808 Worker # spark工作节点进程
28416 DataNode
28535 NodeManager
29866 Jps
29535 QuorumPeerMain

web页面查看spark节点情况

spark查看job任务情况

至此spark安装成功！

关于secureCRT下spark-shell 命令行无法撤销，删除 ，退格 ，回退的问题

相关链接：https://blog.csdn.net/u013468917/article/details/51007491