Spark 2.4.4在CentOS 7.6安装并运行（一）

1.安装JDK 8

先看看系统有没有安装jdk

[root@lch software]# rpm -qa |grep java

如果有，则需要先卸载

[root@lch software]# rpm -qa | grep java | xargs rpm -e --nodeps

检索yum中有没有1.8的相关安装包

[root@lch software]# yum list java-1.8* 

开始安装

[root@lch software]# yum install java-1.8.0-openjdk* -y

查看jdk版本

[root@lch software]# java -version

安装Spark

下载运行Demo {我的操作环境：Centos7.5}:

下载地址:http://spark.apache.org/downloads.html(选择合适自己的版本)

安装JDK8以上

解压JDK,配置环境变量[/etc/profile],配置生效  source/etc/profile 可参考上一章:Hadoop环境部署

java -version 验证

下载spark,我选择的版本是2.2.3

解压 tar -zxvf spark.......    [spark解压即可使用,前提是jdk环境OK]

进入spark/bin目录

./spark-shell

稍等片刻会有类似springboot启动图标的spark图标[welcome to spark]

开始编写sparkShell:

val lines = sc.textFile("/usr/local/spark/spark-2.2.3-bin-hadoop2.7/README.md") 

//第一步操作括号中的路径是我的安装目录,README.md是spark系统文件,请确保你们的文件也在此位置

lines.count()         //输出总count行数

lines.first()            //输出RDD中的第一个元素[README.md第一行]

ctrl+D退出shell