Spark 平障录

Profile

Profile 是最重要的第一环。

  • 利用好 spark UI 和 yarn container log
  • 分析业务代码,对其计算代价进行预判
  • 建设基准,进行对比,比如application id 进行对比,精确到 job DAG 环节
充分利用 UI
Stage 页面

页头 summary,也很重要。
Spark 平障录_第1张图片

勾选所有 UI metrics,提供判断依据

Spark 平障录_第2张图片

task 维度 metrics

Spark 平障录_第3张图片

Executor 维度

application id 对比

如果两个application id, shuflfle read/write 差不多,input/output 差不多。
慢的那一个,如果内存消耗大,那说明计算量大,比如 sum, count 等

Executor 页面

选中所有 metrics,增加判断依据
Spark 平障录_第4张图片

注意GC

你可能感兴趣的:(spark,spark)