Spark脚本调用

Spark提供了多个脚本来作为程序的入口,其中最常用的是交互脚本 spark-shell, pyspark,还有spark sql的客户端spark-sql。 这些脚本最后都会归结到对SparkSubmit类的调用。

下图是spark-shell的调用流程

Spark脚本调用_第1张图片

 

 

下图是spark-sql的调用流程

Spark脚本调用_第2张图片

 

可以看出最后的程序入口都是SparkSubmit.main, 在该入口中会根据传入的参数不同而进入不同的类。

你可能感兴趣的:(Spark脚本调用)