Python开发Spark步骤以及如何提交Spark应用,PythonOnSpark原理

1.Python开发Spark程序步骤

主要是获取SparkContext对象,基于SparkContext对象作为执行环境入口

2.如何提交Spark应用

将程序代码上传到服务器上,通过spark-submit客户端工具进行提交

  • 在代码中不要设置master,如果设置的话会以代码为准,spark-submit工具的设置就无效了
  • 提交程序到集群中的时候,读取的文件一定是各个机器都能访问到的地址
3.Python On Spark执行原理
  • 在Driver端,Python的Driver代码翻译成JVM代码(Py4j模块)变成JVM Driver运行;在Executor端,通过pyspark模块进行中转调度
  • Driver端是JVM在运行,Executor端是Python在运行

Python开发Spark步骤以及如何提交Spark应用,PythonOnSpark原理_第1张图片
Python On Spark Driver端由JVM执行,Executor端由JVM做命令转发,底层由Python解释器进行工作

你可能感兴趣的:(spark,大数据,java)