Azkaban使用笔记

简单自我介绍一下，80后，复旦研究生毕业，微软数据分析师，微软上海Toastmaster俱乐部主席，辣妈。

擅长领域：数据分析，数据可视化，科学喂养，亲子阅读，美食鉴赏。

18年9月底，加入张江一家人工智能公司，云享智慧，BI工程师。

工作流调度系统：由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等。

原始数据进来的处理步骤如下所示：

1、  通过Hadoop先将原始数据同步到HDFS上；

2、  借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；

3、  需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；

4、  将明细数据进行复杂的统计分析，得到结果报表信息；

5、  需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

现成的开源调度系统，比如ooize、azkaban等。ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。

*目前azkaban只支持 mysql,需安装mysql服务器