azkaban的操作指南

前言：

最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

1、工作流调度系统的优势

一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等

• 各任务单元之间存在时间先后及前后依赖关系
• 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1. 通过Hadoop先将原始数据同步到HDFS上；
2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4. 将明细数据进行复杂的统计分析，得到结果报表信息；
5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！

工作流调度实现方式：
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

2、操作指南

2.1、首页简介

projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务

2.2、创建单一job

概念介绍
创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。

1、Command 类型单一 job 示例

• 首先创建一个工程，填写名称和描述
• 之后点击完成后进入如下界面

• Flows：工作流程，有多个job组成
• Permissions:权限管理
• Project Logs:工程日志

2、job的创建
创建job很简单，只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作，用来打印hello，名字叫做command.job

command.job
type=command
command=echo 'hello'

一个简单的job就创建好了，解释下，type的command，告诉azkaban用unix原生命令去运行，比如原生命令或者shell脚本，当然也有其他类型，后面说。一个工程不可能只有一个job，我们现在创建多个依赖job，这也是采用azkaban的首要目的。

3、将 job 资源文件打包
注意：只能是zip格式
4、通过 azkaban web 管理平台创建 project 并上传压缩包

注意这里这里点击Execute Flow后可以执行定时任务，也可立即执行

查看任务的执行情况

2.3、创建多job项目

我们说过多个jobs和它们的依赖组成flow。怎么创建依赖，只要指定dependencies参数就行了。比如导入hive前，需要进行数据清洗，数据清洗前需要上传，上传之前需要从ftp获取日志。
定义5个job：

1、o2o_2_hive.job：将清洗完的数据入hive库
2、o2o_clean_data.job：调用mr清洗hdfs数据
3、o2o_up_2_hdfs.job：将文件上传至hdfs
4、o2o_get_file_ftp1.job：从ftp1获取日志
5、o2o_get_file_fip2.job：从ftp2获取日志

依赖关系：
3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。
注意command写成执行sh脚本，建议这样做，后期只需维护脚本就行了（将python脚本放到shell脚本中执行便于维护），azkaban定义工作流程

o2o_2_hive.job

type=command
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程  
command=sh /job/o2o_2_hive.sh 
dependencies=o2o_clean_data
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔，单位为毫秒

o2o_clean_data.job

type=command    
# 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程
command=sh /job/o2o_clean_data.sh
dependencies=o2o_up_2_hdfs

o2o_up_2_hdfs.job

type=command
 #需要配置好hadoop命令，建议编写到shell中，可以后期维护
command=hadoop fs -put /data/*
#多个依赖用逗号隔开
dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2

o2o_get_file_ftp1.job

type=command
command=wget "ftp://file1" -O /data/file1

o2o_get_file_ftp2.job
type=command
command=wget "ftp:file2" -O /data/file2

配置邮件接收者：在任务流Flow的最后一个.job中文件中添加如下内容

这样将邮箱接受者配置到job文件中便于管理和修改

#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
[email protected],[email protected]
#任务执行成功发送邮件
[email protected]
#任务执行完成，无论成功还是失败发送邮件
[email protected]

可以运行unix命令，也可以运行python脚本（强烈推荐）。将上述job打成zip包。
效果图（可以在下图中点击每个job，再次编辑job中的内容）

点击o2o_2_hive进入流程，azkaban流程名称以最后一个没有依赖的job定义的。查看各个job间的依赖关系

下图是配置执行当前流程或者执行定时流程。

说明

Flow view：流程视图。可以禁用，启用某些job（这里想要单独运行某个job时，可以操作隐藏其他的依赖job）
Notification:定义任务成功或者失败是否发送邮件
Failure Options:定义一个job失败，剩下的job怎么执行
Concurrent：并行任务执行设置
Flow Parametters：参数设置。

参考：https://blog.csdn.net/aizhenshi/article/details/80828726
参考：https://www.jianshu.com/p/3b78164477e8