Apache DolphinScheduler,是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
更多简介信息请查看官网。
本文就让我们跟随子涵先生来用图说源码~走你!┏ (゜ω゜)=☞
为了方便大家容易理解,子涵先生先帮大家梳理一下Dolphinscheduler中的几个概念:
用户点击"运行"按钮时,工作流的执行过程就开始了。处理UI相关用户请求的都是APIServer模块,启动命令由ExecutorController.execute()
进行处理,最终交给持久化到t_ds_command
这个队列表中。
MasterServer的主要作用是:解析任务创建流程实例、按照优先级提交任务队列、负载均衡、把任务分发给workerServer。接下来我们用画图的方式看看他是怎么执行的。
MasterServer启动后,会通过一个masterSchedulerService
进行以下几个步骤:
(1)MasterServer环境检查;
(2)监听工作流队列(t_ds_command),查找可运行command();
(3)根据command返回流程实例;
(4)流程实例交给异步线程运行。
MasterServer使用netty的方式远程调用workerServer处理任务。worker任务的处理主要交给TaskExecuteProcessor
来负责执行。图示如下:
用图说代码是一个学习源码的不错的方式:一来可以清晰剖析代码结构,二来通过记录源码关键位置,回过头来再看时节省时间,且有迹可循。
有朋友私聊想获得我的作图,子涵特意把图在processOn上画了一遍,点我直达。
感谢您的赏读。客官,点赞、留言再走呗~或者留下您的问题一起探讨~
让我们一起共同进步!