Spark Local模式安装

Local模式安装

实验环境

·操作机：Windows 7

实验工具

·无

实验内容

Local模式就是本地运行模式，用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。

本实验通过window环境下载安装配置spark，使用local进行样例测试，spark-shell的打开

实验步骤

1.安装jdk

（1）官网下载jdk：

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

（2）解压jdk到D:\Java目录下

（3）添加系统变量，从桌面电脑图标右键进入“属性”界面，选择“高级系统配置”，选择“环境变量”，然后选择“系统变量”下的新建，添加一个JAVA_HOME的变量，变量值为Java安装路径（能够看到bin文件夹的路径）

（4）往系统变量Path里追加“；Java_HOME\bin”，注意：win10系统按照以下格式添加，win7应该是字符串格式，如果没有分号一定要自己补上！

2.安装spark

（1）通过官网下载spark：

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

（2）添加系统变量

（3）往系统变量Path里追加“；Java_HOME\bin”

3.运行样例程序

（1）移动至d盘

D:

（2）移动到spark目录的bin子目录下

cd D:\spark\spark-2.4.0-bin-hadoop2.7\bin

（3）运行样例程序

run-example SparkPi 4 4

可以看到结果Pi is roughly 3.1493878734696836

4.运行spark-shell

spark-shell