mac上PyCharm集成pyspark、redis、geohash

一、PyCharm集成pyspark

  • 前提:
    1.已经安装好spark。(ps:我的是spark2.2.1)
    2.已经有python环境。(ps:我的是python3.6.3)

  • 过程
    1.使用pip运行如下命令

    pip install py4j
    

    2.使用PyCharm创建一个项目
    添加 PYTHONPATH和SPARK_HOME。
    PYTHONPATH为spark安装路径中的python目录
    SPARK_HOME为spark安装路径

    3.点击Run-->Edit Configurations
    4.选择你所需要的python环境,然后点击Environment variables右侧按钮
    5.添加 PYTHONPATH和SPARK_HOME。点击OK按钮
    PYTHONPATH为spark安装路径中的python目录
    SPARK_HOME为spark安装路径

    6.点击Apply按钮,然后点击OK按钮

    7.点击Preferences-->Project Structure-->Add Content Root
    添加spark安装路径中的python目录下的lib里面的py4j-0.10.4-src.zip和pyspark.zip 然后 Apply ,OK!至此pyspark集成完毕!

二、PyCharm集成redis

1.点击Terminal进入命令行模式
2.执行以下命令

pip install redis

若此时可正常导入redis模块,则忽略以下内容,若依然提示redis模块不存在则继续以下步骤:

3.点击File-->Default Settings

4.搜索Project Interpreter,选择python环境,点击“➕”按钮

5.搜索redis,选择需要的模块,点击Install to user's site packages directory,点击Install Package按钮,然后Apply,OK即可

二、PyCharm集成geohash

1.点击Terminal进入命令行模式

2.执行以下命令

pip install geohash

3.讲python3.6/site-packages目录下的Geohash文件夹命名改为geohash

你可能感兴趣的:(mac上PyCharm集成pyspark、redis、geohash)