Spark系列--安装与配置

简介

需要安装的：JDK、scala、Spark（注意与hadoop的版本对应）。

可选的安装：hadoop

安装

windows

其他网址

Spark在Windows下的环境搭建_大气人生-CSDN博客
Windows10安装spark（包括hadoop安装）_小白白的博客-CSDN博客

1.安装JDK

略

2.安装Hadoop

见：Hadoop系列--安装与设置_feiying0canglang的博客-CSDN博客

3.安装Spark

下载地址：Downloads | Apache Spark  （Pre-built：已经编译好了，下载来直接用就好）

本处下载：spark-3.0.2-bin-hadoop3.2.tgz

4.安装Scala

scala是为了运行spark-shell而安装的。

下载地址：https://www.scala-lang.org/download/all.html     //本处下载：scala-2.12.13.msi

傻瓜式安装。安装后cmd输入scala若有输出则安装成功。

注意版本： Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spark 3.0+ is pre-built with Scala 2.12.

5.运行spark

到解压目录\bin，运行：spark-shell

6.测试

访问：http://localhost:4040/

结果：

Docker

使用

Python下的PySpark

        针对Python下的Spark，有PySpark，和Scala下的spark-shell类似可以对Spark进行一些简单的调试和测试。