数据分析 | MAC Big Sur搭建hadoop+spark环境

---

一、组件包下载

组件包名称	下载链接	备注
Java
Hadoop	hadoop-3.2.0.tar.gz
Spark	spark-3.1.2-bin-hadoop3.2.tgz

---

二、安装步骤

2.1 环境变量配置

vim .zsh_profile 或 vim .bash_profile

变量名	变量值	备注
JAVA_HOME
HADOOP_HOME	export HADOOP_HOME=/Users/ricsy/hadoop/hadoop
SPARK_HOME	export SPARK_HOME=/Users/ricsy/hadoop/spark
PYSPARK_DRIVER_PYTHON	jupyter
PYSPARK_DRIVER_PYTHON_OPTS	notebook
PATH	export PATH=${PATH}:${HADOOP_HOME}/bin:${SPARK_HOME}/bin

source .zsh_profile 或 source .bash_profile

2.2 安装Hadoop

2.3 MAC设置

1、系统偏好设置 => 共享 => 远程登录

---

三、使用步骤

1、command+空格输入terminal后回车打开终端
2、执行以下命令
pyspark

参阅：

• mac本地搭建Spark
• 使用jupyter notebook 来启动pyspark