大数据学习——win环境下spark安装教程

spark是性能远超过hadoop的MapReduce的计算框架，它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时，分布式环境是一个较高的门槛，对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。

以下博文将在windows环境下安装spark。

一、环境准备

安装jdk：https://blog.csdn.net/qq_15903671/article/details/81702284

win下安装hadoop单机版：https://blog.csdn.net/qq_15903671/article/details/96478320

安装scala（spark是用scala写的）：https://blog.csdn.net/qq_15903671/article/details/96474299

二、下载安装spark

下载地址：http://spark.apache.org/downloads.html

百度网盘备份：链接：https://pan.baidu.com/s/14oNk05Hribr9aGeNg8TaRg 提取码：pjqm  

我下载的是2.4.3版本。spark版本还在不断更新，为快速搭建还是建议下载我百度网盘里测试过的版本。

解压到一个固定文件件就好，这是个开箱就能用的东东。

确保java、scala、hadoop都成功安装好，尤其是hadoop能本地使用。就可以启动spark了。

三、命令行运行spark测试

bin路径下有个spark-shell，在命令行启动spark-shell

看到，D:\\testFile下将出现qftest文件夹，内部保存了spark的计算结果。最简单的单词统计。