Windows10/Centos7安装Spark2.3.1

环境

Windows 10
Centos 7.4
java 1.8.0-openjdk.x86_64
scala 2.12.6
spark 2.3.1

Windows10 安装Spark 2.3.1

1. 安装Java 1.8

官网下载JDK 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
安装后版本检查

java -version

2. 安装Scala 2.12.6

Windows版本下载 https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.msi
安装后版本检查

scala -version

3. 设置Hadoop路径

命令行窗口

set HADOOP_HOME = C:\winutils

4. 下载winutils

从https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe下载winutils，保存到文件夹 C:\winutils\bin\ 下

5. 修改hive文件夹权限

命令行窗口

c:\winutils\bin\winutils  chmod 777 c:\tmp\hive

6. 安装Spark

从官网https://spark.apache.org/downloads.html下载Spark2.3.1，并展开。设置SPARK_HOME, 并且添加%SPARK_HOME%\bin到PATH环境变量里

7. 运行spark互动模式

命令行窗口

spark-shell

Centos7 安装Spark 2.3.1

本文档是用于Spark的测试与学习，安装用户全部是root； 如果是用于生产环境，需要做相应的调整。

1. 安装Java 1.8

yum install java-1.8.0-openjdk.x86_64

版本检查

java -version

2. 安装Scala 2.12.6

# 如果没有wget, 需要先安装: 
# yum install wget
wget -O scala-2.12.6.tgz  https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz

# 如果没有gunzip, 需要先安装：
# yum install unzip
gunzip -c scala-2.12.6.tgz|tar xvf -

mv scala-2.12.6 /opt
export PATH=$PATH:/opt/scala-2.12.6/bin

版本检查

scala -version  

3. 安装Spark 2.3.1

wget -O spark-2.3.1-bin-hadoop2.7.tgz  http://www-us.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

gunzip -c spark-2.3.1-bin-hadoop2.7.tgz |tar xvf -

mv spark-2.3.1-bin-hadoop2.7 /opt
export PATH=$PATH:/opt/spark-2.3.1-bin-hadoop2.7/bin

4. 运行spark互动模式

spark-shell