调度系统对比 azkaban&airFlow&Oozie&zeus&rundeck

调度系统对比 azkaban&airFlow&Oozie&zeus&rundeck_第1张图片

           
  azkaban airFlow Oozie zeus rundeck
           
背景 Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 airflow是Airbnb开源出托管于托管在Apache基金会的,通过python定义作业 Oozie目前是托管在Apache基金会的,开源。通过XML文件来定义DAG依赖 阿里开源的基于Hadoop平台的开源工作流调度系统,使用java开发语言 RunDeck 是用 Java/Grails 写的开源工具,帮助用户在数据中心或者云环境中自动化各种操作和流程。
通过命令行或者web界面,用户可以对任意数量的服务器进行操作,大大降低了对服务器自动化的门槛。
           
           
调度策略  
作业异常处理  
作业告警
监控、审计  
可扩展性     ×  
权限管理   ×   ×
易用性        
作业编排 串行
           
开发语言 java python   java java
           
依赖组件 mysql数据库 mysql数据库、python2.7 mysql数据库 mysql数据库、tomcat mysql数据库
           
作业配置方式 command、shell、hadoop、java python 脚本 xml方式 command、shell command、shell、hadoop
           
缺点 UI界面无法直接添加作业 python脚本配置作业,学习成本高,项目孵化中 UI界面不直观,作业配置复杂,无法通过界面启动任务 已经不在维护,文档缺失 作业依赖线性,没有清晰的DAG图
优点 与Hadoop生态圈结合紧密,分布式,DAG依赖比较直观,提供可操作的UI界面,公共变量可配置 与Hadoop生态圈结合紧密,分布式,DAG依赖比较直观,提供可操作的UI界面 与Hadoop生态圈结合紧密,开源早比较成熟,可以集成到hue中 友好的界面显示、全中文,分布式,具有任务统计报表功能,配置简单 单机部署,分布式指令执行,可以设置作业预期执行时间,适合运维使用
           
           

你可能感兴趣的:(调度系统,azkaban)