Mac 搭建 pyspark各类疑难杂症解决

安装所需要的包:

参考这几篇文章进行安装需要的包,并进行安装流程

  1. MAC OS 如何安装 PySpark
  2. mac下搭建pyspark环境
  3. Installing Apache Spark on Mac OS

在安装以下文件时都出现了一些小问题,解决方案写在了后面

brew install scala
brew install apache-spark
brew install hadoop

Install AdoptOpenJDK 8 with Homebrew Cask

其中安装 apache-spark 时告诉我有依赖包没安装下来

apache-spark: Java 1.8 is required to install this formula.
Install AdoptOpenJDK 8 with Homebrew Cask:
  brew cask install homebrew/cask-versions/adoptopenjdk8
Error: An unsatisfied requirement failed this build.

因此就需要多一步:

brew cask install homebrew/cask-versions/adoptopenjdk8

但是这个包被托管到github-release上了,因为众所周知的原因,下载起来非常慢…好在清华大学开源软件镜像站 可以帮忙解决这个问题
方法参考 Homebrew加速安装AdoptOpenJDK8,即将安装的包的路径改到清华这个网站上
更改 /usr/local/Homebrew/Library/Taps/homebrew/homebrew-cask-versions/Casks/adoptopenjdk8.rb这个文件,
在这里插入图片描述
具体来说,需要把包含url指令的那一行改为

url "https://mirrors4.tuna.tsinghua.edu.cn/AdoptOpenJDK/8/jdk/x64/mac/OpenJDK#{version.before_comma}U-jdk_x64_mac_hotspot_#{version.before_comma}u#{version.after_comma.before_colon}#{version.after_comma.after_colon}.pkg"

如图,
在这里插入图片描述

保存后再次执行brew cask install homebrew/cask-versions/adoptopenjdk8即可。
实测很快okk

你可能感兴趣的:(Mac,OS,X,数据分析,python,spark)