Azkaban使用实战（附资料）

源码资料：

链接：https://pan.baidu.com/s/1D5TVoozk9Wen4gkng6nZ5g
提取码：wv6s

1． shell command调度

1.1 直接写命令

创建job描述文件

vi command.job

#command.job
type=command                                                    
command=echo 'hello'

将job资源文件打包成zip文件

zip command.job

1.2 将shell脚本单独抽出来

command2.job:

#command.job
type=command
command=sh hello.sh

hellow.sh:

#!/bin/bash
date  > /root/hello.txt

2． job依赖调度

创建有依赖关系的多个job描述
第一个job：foo.job

# foo.job
type=command
command=echo foo

第二个job：bar.job依赖foo.job

# bar.job
type=command
dependencies=foo
command=echo bar

这里的依赖关键字就是 ：dependencies

将所有job资源文件打到一个zip包中，上传执行！！

3． HDFS任务调度

创建job描述文件

# fs.job
# fs.job
type=command
command=hdfs dfs -mkdir /azaz2

打为zip包，上传：

执行结果：

4． MAPREDUCE任务调度

mr任务依然可以使用command的job类型来执行

创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的example jar）

# mrwc.job
type=command
command=/export/servers/hadoop-2.7.5/bin/hadoop  jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout

将所有job资源文件打到一个zip包中

5． HIVE脚本任务调度

创建job描述文件和hive脚本

Hive脚本： test.sql

use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest; 

Job描述文件：hivef.job

# hivef.job
type=command
command=/home/hadoop/apps/hive/bin/hive -f 'test.sql'

将所有job资源文件打到一个zip包中创建工程并上传zip包,启动job

6． 定时任务调度

除了手动立即执行工作流任务外，azkaban也支持配置定时任务调度。开启方式如下：

首页选择待处理的project