大数据之Spark开发环境准备
文章目录
- 前言
- 一、开发环境准备
-
- （一）前期准备
- （二）PyCharm创建项目
- 总结
前言
#博学谷IT学习技术支持#
之前的文章介绍了Spark环境的搭建和一些基础知识，接下来主要是进行入门案例的开发，以及Spark运行原理的记录和总结，开始学习之前了解下Spark环境搭建【环境搭建】和基础的知识【Spark基础】。
一、开发环境准备
正式开始开发之前需要准备好代码开发环境，开发环境搭建好才能进行入门案例的开发；
（一）前期准备
开发软件：PyCharm 2021.2.1
虚拟机：node1【IP地址为：192.168.88.161】
虚拟平台：VMware 15.5.2版本
（二）PyCharm创建项目
- 创建新项目，选择New Project
- 左侧选项栏中选择【Pure Python】，并在右侧Location位置设置好本次项目存放的位置
- 创建好项目后，创建以下文件夹，以便存放相关的文件
- 由于该项目的代码放在带有PySpark运行环境的虚拟机中运行，所以在PyCharm中需要设定虚拟机的IP地址、端口以及虚拟机用于存放项目文件的路径；
选择PyCharm软件左上角的【File】并点击，接着点击【Settings】进行设定
- 在Setting界面选择界面左侧的【Python Interpreter】，接着需要设置右侧的【Python Interpreter】和【Path mappings】，这两个设置对应第6步，若已经设定好，直接从第7步往后接着看就可以了
- 这一步指定Python编译器的路径，点击【Python Interpreter】右侧的设置按钮，会弹出【Add】和【Show All】两个选项，如果是第一次设定，直接选择【Add】即可，如果已经设定过，选择【Show All】并选择相对应的设定即可，该步骤直接演示【Add】的流程。
进入【Add】界面后，先选择左侧【SSH Interpreter】，然后在右侧填写Host的IP地址以及UserName，接着点击右下角的【Next】按钮，进入下一步。
进入密码填写界面，先填写Host的访问密码，记得勾选【Password】旁边的【Save password】，然后再点击右下角的【Next】按钮。
接着就是设定虚拟机上的Python的Interpreter，以及选择虚拟机上存储Spark代码的路径，最后点击右下角的【Finish】按钮就完成【Python Interpreter】的添加了
最后点击【OK】按钮就设置完成了。
- PyCharm还要设置代码自动上传到装有Spark环境的虚拟机上，一有新代码就可以自动上传到虚拟机上。
总结
本文主要是关于Spark开发环境的准备，PyCharm软件设定好可以提高代码开发的效率。