linux下spark的python编辑_如何在Linux下构建Spark Python编程环境
火花编程环境
Spark可以独立安装或与Hadoop一起使用. 在安装Spark之前linux的python编程环境，首先请确保您的计算机上已安装Java 8或更高版本.
火花安装
访问Spark下载页面，然后选择最新版本的Spark直接下载. 当前最新版本是2.4.2. 下载后，需要将其解压缩到安装文件夹中. 根据您的喜好，我们将其安装在/ opt目录下.
tar -xzf spark-2.4.2-bin-hadoop2.7.tgz
mv spark-2.4.2-bin-hadoop2.7/opt/spark-2.4.2
为了直接在终端中打开Spark的shell环境，您需要配置相应的环境变量. 这里我使用zsh，因此我需要将环境配置为〜/ .zshrc.
如果未安装zsh，则可以将其配置为〜/ .bashrc
# 编辑 zshrc 文件
sudo gedit ~/.zshrc
# 增加以下内容：export SPARK_HOME=/opt/spark-2.4.2export PATH=$SPARK_HOME/bin:$PATH
export PythonPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
配置完成后，在shell中输入spark-shell或pyspark进入Spark交互式编程环境. 前者是进入Scala交互环境，后者是进入Python交互环境.
配置Python编程环境
这里有两个编程环境，Jupyter和Visual Studio Code. 前者促进交互式编程，而后者促进最终的集成开发.
Jupyter的PySpark
首先介绍如何在Jupyter中使用Spark，请注意，此处Jupyter笔记本和Jupyter实验室是常用方法，此处以Jupyter实验室中的配置为例:
在Jupyter实验室中有两种使用PySpark的方法:
pyspark将自动打开Jupyter实验室；
findSpark软件包以加载PySpark.
第一个选项速度更快，但特定于Jupyter笔记本电脑，第二个选项是一种更广泛的方法，使PySpark可在任何您喜欢的IDE中使用. 强烈建议使用第二种方法.
方法1: 配置PySpark启动器
更新PySpark启动器的环境变量，并继续将以下内容添加到〜/ .zshrc文件中:
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='lab'
如果要使用jupyter笔记本，请将第二个参数的值更改为Notebook
刷新环境变量或重新启动计算机linux的python编程环境，然后执行pyspark命令，该命令将在启动Spark的情况下直接打开Jupyter实验室.
pyspark
方法2: 使用findSpark包
在Jupyter实验室中还有另一种更通用的使用PySpark的方法: 使用findspark包在代码中提供Spark上下文.
findspark软件包不是Jupyter实验室专用的，您也可以在其他IDE中使用此方法，因此该方法更通用，建议使用.
首先安装findspark:
pip install findspark
然后，打开Jupyter实验室. 在编程Spark时，我们需要首先导入findspark包. 示例如下:
# 导入 findspark 并初始化import findspark
findspark.init()from pyspark importSparkConf,SparkContextimport random
# 配置 Spark
conf =SparkConf().setMaster("local[*]").setAppName("Pi")# 利用上下文启动 Spark
sc =SparkContext(conf=conf)
num_samples =100000000definside(p):
x, y = random.random(), random.random()return x*x + y*y <1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi =4* count / num_samples
print(pi)
sc.stop()
运行示例:
VScode中的PySpark
Visual Studio Code作为出色的编辑器，对于Python开发非常方便. 以下是一些推荐的个人插件:
Python: 必须安装的插件，提供Python语言支持；
代码运行器: 支持在文件中运行某些片段；
此外，在VScode上使用Spark不需要使用findspark软件包，您可以直接编程:
from pyspark importSparkContext,SparkConf
conf =SparkConf().setMaster("local[*]").setAppName("test")
sc =SparkContext(conf=conf)
logFile ="file:///opt/spark-2.4.2/README.md"
logData = sc.textFile(logFile,2).cache()
numAs = logData.filter(lambda line:'a'in line).count()
numBs = logData.filter(lambda line:'b'in line).count()print("Lines with a: {0}, Lines with b:{1
摘要
以上是我介绍给您的一种用于在Linux下为Spark建立Python编程环境的方法. 希望对大家有帮助. 如有任何疑问，请留言，我会及时回复您！
本文标题: 如何在Linux下构建Spark Python编程环境
本文地址:
本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-244469-1.html