【数据科学】mac安装pyspark

java1.8首先要安装好，然后去下载spark和scala。版本对应问题一定要注意！！！总而言之就是安装包下载好，然后bin目录添加到环境变量里，就大功告成了~

java==1.8  scala==2.11.8  spark==3.0.1 # 注意这里没有安装过hadoop哦

spark网站下载

https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

scala网站下载

https://www.scala-lang.org/download/2.11.8.html

查看java安装的目录和版本

py37 ❯ where java
/usr/bin/java


py37 ❯ java -version
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)

上面两个下载都安装完成后，解压，移动到/usr/local目录下

配置环境变量

命令行输入：vim ~/.bash_profile进行编辑，增加环境变量：

export SPARK_HOME=/usr/local/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

#使环境变量生效，在命令行执行
source  ~/.bash_profile

生效以后，执行

py37 ❯ pip install pyspark

终端输入pyspark验证一下

可以再验证一下scala的安装情况

这个错误

因为没有配置$JAVA_HOME所以才会报错。

解决办法就是在/etc/profile 中设置一下。

因为我的java是直接用idea中的button安装的，所以还要回idea中查看java的安装路径。

export JAVA_HOME=/Library/Jav....(省略)/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH

scala安装遇到的问题：[ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberForma...

https://blog.csdn.net/weixin_30678821/article/details/97638582

最后原因版本匹配问题，安装scala2.11.8完美解决。

最后的最后

启动pyspark有一条warn。。。不过我们也没有安装过hadoop，所以报这个warn是情理之中吧，不影响本地环境使用。看了看要解决这个warn就要去下载hadoop。

 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".

解决方案