makeOffers

spark源码阅读之executor模块③

在spark源码阅读之executor模块①中，我们创建了DriverEndpoint并说明它会周期性的通过给自己发送ReviveOffers消息而去调用makeOffers()方法，从而实现为executor
invincine·2023-09-18 06:21

Spark源码分析之七：Task运行（一）

源码分析之六：Task调度（二）》中，我们大致了解了Task调度相关的主要逻辑，并且在Task调度逻辑的最后，CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的makeOffers
H_MZ·2020-08-23 03:52

Spark-Job执行流程分析

在“Application启动流程分析”文章的第4步提到了，driver接收到Executor发送的RegisterExecutor消息之后，通过makeOffers()将任务随机分发给Executor
淡定一生2333·2020-08-22 20:46

Spark 动态资源分配下数据本地性导致的作业运行缓慢

CoarseGrainedSchedulerBackend以spark.scheduler.revive.interval默认1s调用makeoffers(),在分配到的executor上调度task；
jinxing·2020-03-22 01:02

Spark源码分析之七：Task运行（一）

源码分析之六：Task调度（二）》中，我们大致了解了Task调度相关的主要逻辑，并且在Task调度逻辑的最后，CoarseGrainedSchedulerBackend的内部类DriverEndpoint中的makeOffers
lipeng_bigdata·2016-02-24 23:00

Spark源码分析之六：Task调度（二）

    话说在《Spark源码分析之五：Task调度（一）》一文中，我们对Task调度分析到了DriverEndpoint的makeOffers()方法。
lipeng_bigdata·2016-02-22 16:00

Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析

在上一节中，我们提到Task提交通过makeOffers提交到Executor上//Makefakeresourceoffersonjustoneexecutor privatedefmakeOffers
lovehuangjiaju·2015-10-28 21:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他