工作流调度器azkaban(03)——azkaban实战

Command类型单一job示例

创建job描述文件

创建文本文件,更改名称为mycommand.job
注意后缀.txt一定不要带上,保存为格式为UFT-8 without bom
内容如下

type=command
command=echo 'hello world'

将job资源文件打包成zip文件

创建project并上传压缩包

通过azkaban的web管理平台创建project并上传job压缩包
首先创建project
工作流调度器azkaban(03)——azkaban实战_第1张图片

上传zip包

启动执行job

按着人家简单的提示操作就行啦~

Command类型多job工作流flow

1、创建有依赖关系的多个job描述

第一个job:foo.job

type=command
command=echo 'foo'

第二个job:bar.job依赖foo.job

type=command
dependencies=foo
command=echo 'bar'

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包

4、启动工作流flow

也可以执行hdfs命令,MapReduce命令,Hive脚本命令等。工作中看情况使用即可。

azkaban的定时任务

使用azkaban的scheduler功能可以实现对我们的作业任务进行定时调度功能
工作流调度器azkaban(03)——azkaban实战_第2张图片

*/1 * ? * *  每分钟执行一次定时调度任务
0 1 ? * *  每天晚上凌晨一点钟执行这个任务
0 */2 ? * *  每隔两个小时定时执行这个任务
30 21 ? * * 每天晚上九点半定时执行这个任务

你可能感兴趣的:(Hadoop辅助系统)