spark 使用python语言操作（基于pycharm的安装使用）

本文是关于如何使用pycharm下面执行spark相关操作，spark搭建的是单机模式。

1.安装单机模式的spark

1.1 下载spark

下载地址：https://archive.apache.org/dist/spark/

我选取的是spark-3.1.2-bin-hadoop3.2.tgz

1.2 上传压缩包

将下载好的spark压缩包通过xftp传输到hadoop102的/opt/module（集群节点）目录下面

直接拖到过去就行了

1.3 解压缩包

tar -zxvf spark压缩包 -C 解压路径
我使用的是
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/software/

1.4 修改文件名

mv spark-3.1.2-bin-hadoop3.2/ spark

1.5 将spark添加到环境变量

输入命令：sudo vim /etc/profile.d/my_env.sh

上面添加环境变量的目录是我个人创建的，大家可根据自己的情况完成spark的添加到环境变量

1.6 刷新一下环境

source /etc/profile.d/my_env.sh

1.6 启动测试

进入到spark里面 cd /opt/software/spark

执行

bin/spark-shell

出现以上界面，至此spark的单机安装成功！

2.spark的交互式开发

2.1 交互式开发

交互式开发：通过指令进入交互终端，在命令行直接进行开发

2.2 spark的交互式开发

spark有很多方式可以进行交互式开发

在我们的bin目录下面

其中：

pyspark：支持使用python开发

spark-shell：支持使用scala和java开发

sark-sql：支持sql进行开发

sparR：支持R语言进行开发

注意：在本章中是使用的python语言进行开发

3.使用python对spark进行交互式开发

3.1 执行 pyspark

报错了，并且说没有python3

因为spark使用python进行交互式开发时，依赖的python版本是python3

3.2 安装python3

python3的安装可以借助anconada工具完成，anconada中自带了python3，同时Anconada还集成了各自python的科学计算库（pandas，numpy等），因此我们选用Anconada安装python3.

3.3 下载Anconada

下载地址：

https://www.anaconda.com/download

3.4 安装Anconada

3.4.1：

将下载好的Anconada通过xftp传输到hadoop102的/opt/software目录下面：

直接拖过来就行

3.4.2：

在Anconada的安装目录下面的software执行**：sh Anaconda3-2023.03-1-Linux-x86_64.sh**

3.4.3：

出现了 >>> 请按 回车

3.4.4：

然后一直回车到有个no >>> 输入yes

3.4.5：

输入yes之后输入**：/opt/software/anconada3**

此时就会联网按照，下载python3以及一些模块

3.4.5

最后，有个no >>> 输入yes

注意安装完成之后需要重启服务

3.5 再次执行pyspark

bin/pyspark

此时就可以使用python代码执行spark了

出现以上模样，至此使用python对spark进行交互式开发以及完成了！

基于python对spark的三种开发方式

4.1 交互式开发

就是直接通过命令行开发。

比如：

此时data是一个列表

如果我们想要对data进行spark计算，那么就需要将这个list类型的data转化为spark的RDD。

当我们进入交互模式的时候，会生成一个sc，该sc中的方法可以将python中的数据类型转化为RDD。

此时我们已经转为为了RDD了，那么如果想要数据处理的话，则可以RDD当中提供的各种算子了

当然，这只是简单的了解一下，后面会进行详细的学习解释。

注意：可以使用ctrl + z 退出交互模式

4.2 脚本式开发

脚本式开发其实就是将交互式开发的代码写入文件中，通过运行文件的方式从而允许计算程序。

我们主要了解下面一种开发模式，有兴趣的小伙伴可以自行了解。

4.3 使用pycharm远程开发

4.3.1 导入模块

pip install pyspark==3.1.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

-i 指定安装源为国内的安装源

4.3.2 使用pycharm中的ssh连接服务器

进入到 > tools > SSH Configurations 然后按照下图配置

点击测试

到此 使用pycharm连接ssh就ok了。

注意：我们的pycharm必须是专业版。

4.3.3 使用pycharm执行spark代码

首先pycharm执行的是本地的python环境，我们需要将pycharm的运行环境指定到刚刚我们在虚拟机下载的anconda3里面的python3里面去。

（1）进入到 Python interpreter里面去

（2）点击 右边Add

（3）点击 SSH Interpreter > 第二个按钮 > 选择远程连接

（3）python环境和目录连接

Interpreter中配置你的python3路径

Sync folders 中配置本地项目路径 和 远程连接的虚拟机目录建立连接（在opt下面创建目录spark），点击Finish，那么这样我们在本地py文件，就能同步到远程目录下面了

4.3.4 pycharm连接xftp

一旦当我们配置好了python3的环境之后，pycharm就会自动创建一个远程的映射目录，

如下图所示进行查看：

点击，我们就可以操作并且查看远程目录

5.测试

5.1 ssh连接测试

点击terminal，然后如下图所示点击进去

连接成功！

5.2 spark运行代码测试

直接在pycharm里面编写代码

运行成功 结果为 21！

5.3 xftp测试

查看远程目录，如下图右方所示

进入/root/spark.test

此时已经同步了test1代码了

点击 test1查看代码

至此 pycharm关于spark单机模式下的基本配置已经完成！

注意事项：
上述安装的所有都必须在root用户下面所有，用户名和所属组都要为root，因为远程连接的时候是以root用户身份连接的。