Spark Runtime(Driver、Masster、Worker、Executor)内幕解密(DT大数据梦工厂)
内容:1、再论Spark集群部署;2、Job提交解密;3、Job的生成和接受;4、Task的运行;5、再论Shuffle;从一个作业视角,透过Master、Drvier、Executor来透视SparkRuntime==========再论Spark集群部署============官网中关于集群的部署:默认情况下,每个Worker下有一个Executor,会最大化的使用内存和CPU。Master发