主流大数据调度工具对比

大数据环境下，调度工具比不可少，离线批任务和准实时任务都需要调度去驱动。下文介绍主流大数据调度工具对比DolphinScheduler 、Azkaban、Airflow、Oozie、Xxl-job

非常推荐Apache DolphinScheduler

    —— 调度选的好，下班回家早；调度选的对，半夜安心睡；

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用，目前已累计有 400+ 公司在生产上使用。

特点

1. 高可靠性

去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载，不会造成机器卡死

2. 简单易用

DAG 监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署

3. 丰富的使用场景

支持暂停恢复操作. 支持多租户，更好的应对大数据的使用场景. 支持更多的任务类型，如 spark, hive, mr, python, sub_process, shell

4. 高扩展性

支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线

主要能力

• Task以DAG形式关联，实时监控任务的状态。
• 支持Shell、MR、Spark、SQL、依赖等10多种任务类型。
• 工作流优先级、任务优先级，全局参数及局部自定义参数
• 工作流可定时、依赖、手动、暂停/停止/恢复
• 支持补数、多租户、日志在线查看及资源在线管理
• 完善的系统服务监控，任务超时告警/失败。
• 去中心化设计确保系统的稳定、高可用。
• 支持每日十万数据量级任务稳定运行