1 Spark的环境搭建
1 Spark的环境搭建
1.1 Windows - Spark安装
一、下载并安装软件
\1. 下载并安装Java8：https://www.oracle.com/java/technologies/downloads/
（1） 原因：Spark由Scala语言开发。而Scala代码会被编译成Java字节码。因此Spark的运行需要Java环境
\2. 下载并安装Python：https://www.python.org/
（1） 原因：我们将利用Spark提供的Python API编程
（2） 安装时勾选“Add Python xx to Path”
\3. 下载并解压缩Spark到C盘根目录：比如 C:\Spark-3.03-bin-hadoop2.7
（1）下载版本：
\4. 在C盘根目录中创建hadoop\bin目录，并将winutils.exe放入bin目录中
(1) 该工具的作用是能让Spark更改文件(夹)权限
二、设置环境变量
（1）
（1） 为Path环境变量添加新值
三、修改Log等级
为避免在执行Spark命令时，输出过多干扰内容，故修改Spark的Log等级。
在spark的安装目录中的conf目录中，找到log4j.properties.template文件，并复制一份，然后将该副本重命名为log4j.properties。之后打开该文件，找到第19行，将INFO更改为ERROR，然后保存关闭该文件。
四、测试是否安装成功
（1）打开cmd，然后输入 pyspark，可以看到如下界面
然后输入exit()命令退出
（2）在spark安装目录的\examples\src\main\python中，找到wordcount.py文件，复制到c盘跟目录。之后，再在c盘根目录中创建一个data.txt文件，任意输入一些以空格分隔的英文单词并保存。然后在cmd中输入：
spark-sumit wordcount.py data.txt
如果能统计出单词数量即可
