大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比

大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第1张图片

 Apache Oozie#

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第2张图片

 

 Linkedin Azkaban

#

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第3张图片

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第4张图片

 Azkaban:最适合shell脚本,当job不多的时候,可以使用。

 Apache Airflow

#

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第5张图片

 

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第6张图片

 

 Airflow 在使用时有一大痛点:使用Python语言来定义工作流的。

大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第7张图片

 

 Apache DolphinScheduler

#

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第8张图片

 特点:分布式、去中心化、易扩展的可视化工作流任务调度系统

 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_第9张图片

 

海豚调度的多租户和我们YARN的多租户是对应起来的,这个非常好。

海豚调度出来的有点迟,它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了,后发优势,集万千优点于一身,缺点也避免了。

离线:用的Spark比较多,实时用 Flink比较多。

过载处理:airflow 任务过多时卡死服务器,DolphinScheduler任务队列机制,当任务过多时会缓存在任务队列中。

推荐海豚DolphinScheduler任务器~~~~

你可能感兴趣的:(大数据学习整理,大数据,定时任务)