azkaban调度SQL代码

1. azkaban上新建一个project

登录azkaban后,右上角有个Create Project的按钮,点解后录入项目信息。
在这里插入图片描述
azkaban调度SQL代码_第1张图片

2.上传项目文件

前人经验,这里应该上传一个.zip的压缩文件,并且你这个.zip的压缩文件里面不要有文件目录,直接是文件。
在这里插入图片描述
azkaban调度SQL代码_第2张图片
这个压缩文件里有2个文件,一个是run.sh的脚本,一个是.job的文件。
脚本文件中存储一些认证的信息,以及文件目录等信息

klist -kt /xxx/xxx.keytab
/usr/hdp/2.6.2.14-5/spark2/bin/spark-submit

.....
.
-sparker.job.file.path hdfs://gdmp/projects/待调度的.sql

这个.job的文件里,这样写

type=command
command=sh ./run.sh

3.运行测试

azkaban调度SQL代码_第3张图片
测试成功后,就可以配置调度日期了。

4.调度日期配置

azkaban调度SQL代码_第4张图片
按照上述配置,你可以看到未来10个即将执行的时间,可以见是按天执行,每天0时执行。
azkaban调度SQL代码_第5张图片
关注微信公众号“数据分析师手记”,一起学习进步!
azkaban调度SQL代码_第6张图片

你可能感兴趣的:(azkaban)