选azkaban还是oozie?各种调度工具对比

各种调度工具对比

下面的表格对上述四种hadoop工作流调度器的关键特征进行了比较,尽管这些工作流调度器能够解决需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在技术选型时可供参考

特性

hamake

oozie

azkaban

cascading

工作流描述语言

xml

xml(xpdl、based)

text file with key/value pairs

java API

依赖机制

data-driven

explicit

explicit

explicit

是否要web容器

no

yes

yes

no

进度跟踪

console/log message

web page

web page

java API

hadoop调度支持

no

yes

yes

yes

运行模式

command line utility

daemon

daemon

api

pig支持

yes

yes

yes

yes

事件通知

no

no

no

yes

需要安装

no

yes

yes

no

支持的hadoop版本

0.18+

0.20+

currently unknown

0.18+

重试支持

no

workflow node evel

yes

yes

运行任意命令

yes

yes

yes

yes

amaon EMR支持

yes

no

currently unknow

yes

你可能感兴趣的:(Sven_大数据)