azkaban2集群调度 提交任务

azkaban2提交任务

介绍

azkaban2定义工作流以job文件结尾,如wordcount.job

具体可参考http://blog.csdn.net/gloria__zhang/article/details/8715719这里做了详细介绍.

实例

以hadoop wordcount 为例.

流程如下:

1. 先将数据上传至hdfs中

2. 执行统计1

3. 执行统计2、统计3

4. 执行统计4

如上流程所知,需要5个job配置文件,具体如下:

upload.job

# upload.job

type=command                                                       #运行方式,以sh命令方式执行

command=hadoop fs -put upload/rpfarewell /suncf/input

 

wordcount1.job

#wordcount1

type=command                                                       #运行方式,以sh命令方式执行

command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out1

dependencies=upload                                           #上级执行job

 

wordcount2.job

type=command                                                       #运行方式,以sh命令方式执行

command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out2

dependencies=wordcount1                                 #上级执行job

 

wordcount3.job

type=command

command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out3

dependencies=wordcount1                                 #上级执行job

 

wordcount4

type=command

command=hadoop jar wordcount.jar wordcount /suncf/input /suncf/out4

dependencies=wordcount2,wordcount3                  #上级执行job,有多个时,用逗号分隔

1.将编写好的job文件,连同程序运行的jar包放至同一目录.

2.压缩成zip格式文件,目前azkaban只支持 zip格式.当然也可以修改源代码

3.在azkaban web页面,创建一个项目后,点击 uplaod按钮,选择刚才打好包的zip文件,将会出现一个清淅的工作流,如下图:

点击任一节点进入

4.点击schedule/Execute Flow按钮,

此界面可以配置一些任务的相关信息,如:成功后发送邮件、失败后发送邮件.发邮件的功能需要在配置文件中指定邮件服务器.

1. 点击 execute 可执行当前任务

1. 点击schedule 可以定时执行任务

还有一些其它的功能,搭建成功后可以做一些适当操作.此处不一一举例