spark的环境安装

1.安装sbt

正常安装流程。

在cmd里运行的时候，要提前设置代理（如果上网有代理），set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172.17.18.84 -Dhttp.proxyPort=8080。这样sbt就可以联网下载了，否则后续的安装会不成功。

 

2.安装scala

正常安装流程。

 

3.安装git

正常安装。如果上网有代理，需要在bash里面进行设置，git config --global http.proxy 172.17.18.84 :8080

 

4.安装spark

下载spark的tgz文件，解压缩后，cmd进入到根目录。

输入sbt package，进行打包。这其中会调用git，如果没安装会报错。

如果spark安装成功，进入到spark/bin目录下，运行spark-shell,看到欢迎界面。