pycharm上写spark程序

     百度的一堆结果全是下面这样:

pycharm上写spark程序_第1张图片

 

pycharm上写spark程序_第2张图片

pycharm上写spark程序_第3张图片 

感觉特别醉,这样不说from pyspark import SparkContext时,pycharm会提示红线,而且没有自动补全,根本就不实用。

后来还是在Google上找到了个方法:

将$SPARK_HOME/python/pyspark复制到pycharm所使用的python解释器默认会去寻找的模块目录下,例如我的就是:

cp -r ~/Library/local/spark-2.2.0-bin-hadoop2.7/python/pyspark /Library/Python/2.7/site-packages

然后就行了。


可能还会需要安装py4j,我是已经安装了。

参考:

https://www.cnblogs.com/similarface/p/5431637.html

https://medium.com/data-science-cafe/pycharm-and-apache-spark-on-mac-os-x-990af6dc6f38




你可能感兴趣的:(pycharm上写spark程序)