ubuntu + pyspark 开发环境搭建

1.下载,安装anaconda .

https://www.anaconda.com/distribution/

sudo  bash  Anaconda3-5.2.0-Linux-x86_64.sh

全部使用默认选项，可以指定anaconda 的安装目录，最后遇到vscode 时，选择no

 

2.安装pycharm(专业版：需要激活码，社区版）

http://www.jetbrains.com/pycharm/download/#section=linux

 

解压安装后，使用其目录下bin/pycharm.sh启动，添加到左侧收藏夹。

 

 

3.将anaconda 的python 版本添加到pycharm

4.将spark目录下，$SPARK_HOME/python/  下的  pyspark目录放到anaconda目录 /usr/anaconda3/lib/python3.6/site-packages/

/usr/spark23/python/
总用量 96
drwxrwxrwx  8 jerry jerry  4096 3月  28 14:58 ./
drwxrwxrwx 15 jerry jerry  4096 3月  28 14:59 ../
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 dist/
drwxrwxrwx  4 jerry jerry  4096 3月  28 14:58 docs/
-rwxrwxrwx  1 jerry jerry    49 3月  28 14:58 .gitignore*
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 lib/
-rwxrwxrwx  1 jerry jerry  1041 3月  28 14:58 MANIFEST.in*
-rwxrwxrwx  1 jerry jerry 13991 3月  28 14:58 pylintrc*
drwxrwxrwx  8 jerry jerry  4096 3月  28 14:58 pyspark/
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 pyspark.egg-info/
-rwxrwxrwx  1 jerry jerry  1860 3月  28 14:58 README.md*
-rwxrwxrwx  1 jerry jerry   899 3月  28 14:58 run-tests*
-rwxrwxrwx  1 jerry jerry 11497 3月  28 14:58 run-tests.py*
-rwxrwxrwx  1 jerry jerry   854 3月  28 14:58 setup.cfg*
-rwxrwxrwx  1 jerry jerry 10170 3月  28 14:58 setup.py*
-rwxrwxrwx  1 jerry jerry    40 3月  28 14:58 test.csv*
drwxrwxrwx  4 jerry jerry  4096 3月  28 14:58 test_support/

 

cp -r  /usr/spark23/python/pyspark/   /usr/anaconda3/lib/python3.6/site-packages/