spark执行过程分析

spark任务执行记录

背景:利用pyspark join表,随后写入hive;代码中包含三个写入操作hiveContext.sql(sql_join).write.saveAsTable("stage_data.users_basic_tmp")

查看任务被分为三个job

spark执行过程分析_第1张图片
image.png
  1. 第1个任务比较简单,只有一个stage即完成了。
spark执行过程分析_第2张图片
image.png
  1. 第二个任务比较大,共分为7个stage
spark执行过程分析_第3张图片
image.png
spark执行过程分析_第4张图片
image.png

进入每个stage可查看任务执行状况

spark执行过程分析_第5张图片
image.png

也可以查看每个阶段的执行情况

spark执行过程分析_第6张图片
image.png

最终执行完成的结果

spark执行过程分析_第7张图片
image.png

你可能感兴趣的:(spark执行过程分析)