(Spark系列一)Pycharm远程连接服务器并调试Spark程序

背景介绍

之前使用Java远程对MapReduce编程时，只需要服务器配置好地址映射,本地建立Maven项目并导入相关配置项,同时建立好本地Hadoop环境就可以远程提交任务到NameNode了,但是Python运行Spark任务我找了大部分文献貌似都不能这么去提交任务~~，于是就利用Pycharm去连接服务器并提交任务

项目要求
1.专业版Pycharm 学生免费使用~
2.服务器上已经搭建好了相关环境

环境安装
1.服务器安装py4j

pip3 install install

2.本地Pycharm配置

• 配置Deployment
  1.首先配置本地与服务器的代码同步,打开
  Tools | Deployment | Configuration
  
  2.点击左边的+号部署一个新的配置
  
  其中 username 为登陆服务器的用户名,RootPath为Linu服务器中文件的目录。

  3.在Mapping 选项中，Local Path为Windows下的项目存放路径，就是将本地目录同步到服务器上面，Deployment path 的意思就是在上面的Root Path 路径后面追加的路径地址。
  

• Python Interpreter的配置

1. 打开file|settings|project|project interpreter
   
   填写基本的参数,连接无异常继而选择环境的python的环境

编译调试

1.先上传到服务器 Tools|deployment|upload to xxxx
2.run或者debug

参考资料

https://www.jianshu.com/p/06b40a77b6ee