azkaban调度系统架构

可以按照azkaban架构实现自己的调度系统,我自己实现的调度系统类图

azkaban调度系统架构_第1张图片

 

azkaban调度系统是linkin贡献的开源项目,分为webserv和executorserver,webserver用于界面配置任务,executorserver用于执行任务,由mysql数据库驱动,容易借鉴开发自己的调度系统,具体介绍请参考官方网址介绍http://azkaban.github.io/azkaban/docs/latest/,源码下载地址https://github.com/azkaban。

 


1.webserver执行任务流程图

 

 

 

azkaban调度系统架构_第2张图片

 

 

2.webserver上传资源包流程

azkaban调度系统架构_第3张图片

3.executor server执行flow过程azkaban调度系统架构_第4张图片

azkaban调度系统架构_第5张图片

你可能感兴趣的:(大数据技术)