mac下搭建pyspark环境

在mac下搭建pyspark需要安装的有:

1.JAVA JDK
2.Scala
3.apache-spark
4.Hadoop(可选)
5.pyspark

安装上面几个可以选择去官网下载安装包,解压后再自行配置环境变量。也可以选择使用brew进行安装,比较方便的一种安装方式。

如果你的电脑上没有安装brew的话,可以参考下面这篇文章进行安装brew,还是比较方便的。
https://www.jianshu.com/p/7ef9e0e4d3c2

只需要简单的使用

brew install scala
brew install apache-spark
brew install hadoop

安装完毕之后可以选择配置环境变量
使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量
具体如下:

  # HomeBrew
   export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
   export PATH="/usr/local/bin:$PATH"
   export PATH="/usr/local/sbin:$PATH"
  # HomeBrew END
 
  #Scala
  SCALA_HOME=/usr/local/scala
  export PATH=$PATH:$SCALA_HOME/bin
  # Scala END
 
  # Hadoop
  HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin
  # Hadoop END
 
  # spark
  export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0"
  export PATH="$SPARK_PATH/bin:$PATH"
  # Spark End

最后进行安装pyspark就OK啦,使用pip install pyspark

然后打开jupyter notebook
在文件的最上面添加以下代码,目的是寻找并创建sparksession对象,以便调用spark进行计算。

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession.builder.getOrCreate()

然后就可以愉快的使用pyspark了

你可能感兴趣的:(学习笔记,大数据,apache,spark)