Windows 搭建 Spark

Windows 中 Spark 环境搭建

环境：Win10 + Java (1.8.0_231) + Scala (2.12.10) + Hadoop (2.7.7) + Spark (spark-2.4.4-bin-hadoop2.7)

Java 环境与安装

Oracle 官网 下载 JDK_8u231 (Java 8) ；

Oracle 官网账号分享 (来自于网络)：

Oracle 帐号：[email protected]，密码：Oracle123

安装后新建环境变量 JAVA_HOME：Java_Install_Path\jdk1.8.0_231 ；

添加 %JAVA_HOME%\bin 到环境变量 Path 中 (没有就新建) ；

系统变量或者用户变量应该都行，可以了解一下系统变量和用户变量的区别。

Tips：Java8 好像不用配置 classpath 变量了。

在 cmd 输入 java -version 检查 Java 是否安装成功，出现类似下图表示安装成功：

Scala 安装和配置

Scala 官网 下载 Scala (2.12.10) ；

安装 Scala (Scala 会自动配置环境变量，没有就手动配置 Scala_Install_Path\bin 到 Path 中)；

cmd 输入 scala -version 检查 Scala 是否安装成功，出现类似下图表示安装成功：

Tips：之前装的 Scala2.11 出现了 error，不知道是不是和 Java8 不兼容，卸载之后安装 Scala2.12 就好了。

Hadoop 安装和配置

Hadoop releases 下载 Hadoop (2.7.7)；

解压后新建环境变量 HADOOP_HOME：Your_Hadoop_Path，再配置 %HADOOP_HOME%\bin 到 Path 中；

直接配置到 Path 中应该也可以，不想试了。。。

cmd 输入 hadoop 检查 Hadoop 是否安装成功，出现类似下图表示安装成功：

Spark 安装和配置

Spark 官网 下载 Spark (我选择的是 spark-2.4.4-bin-hadoop2.7.tgz)；

解压后新建环境变量 SPARK_HOME：Your_Spark_Path，再配置 %SPARK_HOME%\bin 到 Path 中；

cmd 中输入 spark-shell 检查是否安装成功；一般会出现类似 java.io.IOException: Counld not locate executable ... in the Hadoop binary path 的错误 (图片来自网络)：

这是因为缺少 winutil.exe，在 Github winutil 下载对应版本的 winutil.exe (我下的是 2.7.1 的)，放在 bin 文件夹下。

再输入 spark-shell 应该还会出现 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... 类似的 warning (图片来自网络)：

还需要在下载 winutil.exe 的地方再下载一个 hadoop.dll，放在同样的 bin 文件夹下；

再重新运行，应该就没有 warning 了：

pyspark 安装和配置

如果用 Python 的话，在上面的配置完成之后，直接 pip install pyspark 应该就可以了，速度慢的话可更换源或者另寻他法。

在 cmd 输入 pyspark 检查是否安装成功，可以再输入 sc.parallelize(range(1000)).count() 测试一下 pyspark 是否能用 (会输出 1000)。