3. pycharm配置pyspark
pycharm配置运行pyspark
1. 安装pycharm
2. 配置
3. 测试
1. 安装pycharm
官网下载pycharm：https://www.jetbrains.com/pycharm/
下载 pycharm-community-2018.3.2.tar.gz
解压：可以bash，也可以右键归档管理器提取
此时进入bin目录 ./pycharm.sh 就可以运行了
也可配置为双击运行：（没必要，后面直接创建桌面快捷方式）
打开文件夹，左上角有“文件”，文件—》首选项—》行为—》可执行文本—》运行
2. 配置
2.1 桌面快捷方式
右下角Configer——》create desktop entry
如果已经进去了不在这个节目了，就点击菜单栏的tools——》create desktop entry
2.2 配置anaconda python环境
设置 settings—》peoject interpreter（解释器）—》右上角的设置图标—》Add
点击ok，python环境配置完成。
2.3 配置spark路径和spark的python链接库
上一节配置的是anaconda的python链接库，当我们跑pyspark程序时，
还要引用spark的python链接库，所以还需要配置一下
spark的python链接库：py4j-0.10.7-src.zip 和 pyspark.zip
这两个文件都在Spark中的python文件夹下，/spark/python/lib
因为是跑程序时需要spark路径和这两个spark的python库，
所以我们新建一个项目test，配置Run：
（1）spark路径
Run ->Edit Configurations ->Templates ->Python ->Environment ->Environment variables
点击图示位置，添加SPARK_HOME目录与PYTHONPATH目录
SPARK_HOME是spark的路径：/export/servers/spark-2.3.1-bin-hadoop2.7
PYTHONPATH是spark下python的路径：/export/servers/spark-2.3.1-bin-hadoop2.7/python
（2）spark的python链接库
setting（在file中）->project Structure ->Add Content Root
3. 测试
在此项目下新建python文件，输入
from pyspark import SparkContext
无红线，不报错。
直接在pycharm中运行pyspark程序
见案例：wordcount（pycharm）