Azkaban4.0.0配置任务:独立任务和依赖任务

1 单个任务

1.1 任务脚本

新建文件:test.job

type=command
command=echo "First Azkaban job!!!"

打包:zip包

1.2 创建项目

Azkaban4.0.0配置任务:独立任务和依赖任务_第1张图片

图1.1 创建项目
## 1.3 上传文件 在新建的项目中上传压缩的脚本文件(*.zip),upload。

Azkaban4.0.0配置任务:独立任务和依赖任务_第2张图片

图1.2 上传压缩文件

选择压缩文件,上传。
Azkaban4.0.0配置任务:独立任务和依赖任务_第3张图片

图1.3 选择压缩文件

1.4 运行任务

上传任务后,通过Run job或Execute Flow运行任务。
Azkaban4.0.0配置任务:独立任务和依赖任务_第4张图片

图1.5 执行任务

进入运行任务后,展示工作流,单个任务只有一个任务流,如test。
Azkaban4.0.0配置任务:独立任务和依赖任务_第5张图片

图1.6 任务结构

集群部署的Azkaban需要为任务流指定执行器,选择Flow Prameters,添加重写方法,useExecutor即重写的方法名,value为执行器的id,在数据表executor中的id。配置执行器后,点击Execute即可执行任务。

Azkaban4.0.0配置任务:独立任务和依赖任务_第6张图片

图1.7 添加执行器并执行

2 依赖任务

依赖任务即任务的成功执行,依赖其他任务的成功执行。
配置任务脚本

2.1 任务脚本

  • 新建文件:father.job
type=command
command=echo "I am father!!!"
  • 新建文件:son.job
type=command
dependencies=father
command=echo "I am son!!!"
  • 新建文件:grandson.job
type=command
dependencies=son
command=echo "I am  grandson!!!"

三个*.job压缩到同一个文件夹,同一级别。
打包:zip包

2.2 任务结构

新建项目,上传任务压缩文件,任务流结构如图所示。
Azkaban4.0.0配置任务:独立任务和依赖任务_第7张图片

图2.1 依赖任务结构

2.3 执行任务

执行任务Execute Flow,任务流如图所示。

  • 任务流
    Azkaban4.0.0配置任务:独立任务和依赖任务_第8张图片
图2.2 执行任务
  • 配置执行器
    Azkaban4.0.0配置任务:独立任务和依赖任务_第9张图片
图2.3 添加执行器
  • 任务执行
    成功任务流呈绿色。
    Azkaban4.0.0配置任务:独立任务和依赖任务_第10张图片
图2.4 任务执行结果

2.4 任务时序

Azkaban4.0.0配置任务:独立任务和依赖任务_第11张图片

图2.5 依赖任务时序

2.5 日志

2.5.1 全局日志

Azkaban4.0.0配置任务:独立任务和依赖任务_第12张图片

图2.6 全局运行日志

2.5.2 单独任务日志

Azkaban4.0.0配置任务:独立任务和依赖任务_第13张图片

图2.7 单独任务运行日志

3 定时任务

3.1 配置任务

执行任务Execute Flow。
Azkaban4.0.0配置任务:独立任务和依赖任务_第14张图片

图3.1 执行任务
  • 添加执行器
    Azkaban4.0.0配置任务:独立任务和依赖任务_第15张图片
图3.2 添加执行器
  • 配置定时
    schedule。
    Azkaban4.0.0配置任务:独立任务和依赖任务_第16张图片
图3.3 配置定时执行
  • 定时器详情
    Azkaban4.0.0配置任务:独立任务和依赖任务_第17张图片
图3.4 添加定时Cron参数

3.2 定时任务列表

Azkaban4.0.0配置任务:独立任务和依赖任务_第18张图片

图3.5 定时任务列表

3.3 定时任务流

Azkaban4.0.0配置任务:独立任务和依赖任务_第19张图片

图3.6 定时任务流

3.4 定时任务执行结果

Azkaban4.0.0配置任务:独立任务和依赖任务_第20张图片

图3.7 定时任务执行结果

3.5 任务下次执行时间

Azkaban4.0.0配置任务:独立任务和依赖任务_第21张图片

图3.8 定时任务下次执行时间
# 4 小结 - Azkaban配置单个任务和依赖任务,任务打包为zip格式文件,上传到Azkaban,依赖任务同级目录压缩; - 集群配置Azkaban需要为任务配置执行器,执行器键值对,key为userExecutor,value为id,id在executor表的id; - 定时任务在schedule配置。

你可能感兴趣的:(#,ETL,Azkaban,任务,执行器)