Mac Intellij IDEA中pyspark的环境搭建

背景

        默认python项目已经导入idea，Mac本地已经安装好python。

步骤  

1、Mac本地安装pyspark

brew install pandoc ##不可以用root安装，而且安装很慢；建议下载Mac安装包手动安装 http://johnmacfarlane.net/pandoc/installing.html
pip install pyspark==2.1.2 --user -U ##指定好版本，spark2.1.0用pyspark==2.1.2版本，需要加上；--user -U 基于用户的权限来安装模块包，不然会有权限问题

2、Mac本地安装spark-2.1.0

从官网下载 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz 解压放到指定的目录，在~/.bash_profile文件中配置环境变量

3、Intellij IDEA配置pyspark

 

添加两个环境变量：

变量名：PYTHONPATH，变量值：/usr/local/spark/spark-2.1.0-bin-hadoop2.7/python
变量名：SPARK_HOME，变量值： /usr/local/spark/spark-2.1.0-bin-hadoop2.7

4、Intellij IDEA关联pyspark源码

file->project structure->modules，点击加号： 

选择第一个JARs or directories，找到PYTHONPATH下的lib文件夹，C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib，直接添加进来即可，弹出的窗口选择Jar Directory。

至此便可以用intellij idea运行测试pyspark程序了。