Spark on yarn 提交作业的流程

on yarn集群模式的两种模式
cluster模式
client模式
Spark on yarn 提交作业的流程_第1张图片
Yarn-client模式与Yarn-cluster模式的不同之处:

  1. Yarn-client模式,Driver运行在本地机器上;Yarn-cluster模式,Driver运行在Yarn集群上某的NodeManager节点上;
  2. Yarn-client模式会导致本地机器负责spark任务的调度,所以网课流量会激增;Yarn-cluster模式没有流量激增的问题
  3. Yarn-client的Driver运行在本地,通常来说本地机器和Yarn集群不在同一个机房。所以说性能不会很好;Yarn-cluster模式下,Driver和Yarn集群运行在同一个机房内,性能上会好一点

你可能感兴趣的:(spark面试题)