Azkaban搭建及使用

Azkaban搭建使用(很简单)

1、上传解压

unzip azkaban-solo-server.zip

#没有unzip插件的执行下面命令安装
yum install unzip

2、修改配置文件

#修改azkaban.properties配置文件
vim conf/azkaban.properties
#修改时区
default.timezone.id=Asia/Shanghai

3、启动azkaban

cd /usr/local/soft/azkaban-solo-server

不要进入bin目录下去启动Azkaban,因为会读取不到刚才配置的配置文件,所以直接在bin目录上一级目录下启动

启动

./bin/start-solo.sh 

4、访问azkaban

http://master:8081
用户名密码  azkaban/azkaban

进入后如下图
Azkaban搭建及使用_第1张图片

配置邮箱服务

vim conf/azkaban.properties

mail.sender 发送方
mail.host 邮箱服务器的地址
mail.user 用户名
mail.password 授权码

增加以下配置

mail.sender=987262086@qq.com
mail.host=smtp.qq.com
mail.user=987262086@qq.com
mail.password=aaaaa

重启azkaban

cd /usr/local/soft/azkaban-solo-server

关闭

./bin/shutdown-solo.sh

启动

./bin/start-solo.sh 
调度任务

先点击Download下载模板,下载完成后解压,然后·修改basic.flow文件配置
Azkaban搭建及使用_第2张图片
解压后出现下面两个文件,然后·修改basic.flow文件配置(具体配置根据你需要调度的任务决定)
在这里插入图片描述
例:

---
config:
  day_id: $(new("org.joda.time.DateTime").minusDays(1).toString("yyyyMMdd"))

nodes:


  - name: DwdResRegnMergelocationMskD
    type: command
    config:
      command: sh /root/tour/DwdResRegnMergelocationMskD.sh $day_id


  - name: DwsStaypointMskD
    type: command
    config:
      command: sh /root/tour/DwsStaypointMskD.sh $day_id

    dependsOn:
      - DwdResRegnMergelocationMskD


  - name: AdsProvinceTouristMskD
    type: command
    config:
      command: sh /root/tour/AdsProvinceTouristMskD.sh $day_id

    dependsOn:
      - DwsStaypointMskD

修改完成后保存,然后同时选中下面两个文件进行打包
在这里插入图片描述
压缩文件格式为.zip
Azkaban搭建及使用_第3张图片
完成后如下图所示:
Azkaban搭建及使用_第4张图片
然后就可以上传了(可以新建一个project)点击create project
Azkaban搭建及使用_第5张图片
然后点击upload上传,去到你打包的文件目录把刚才的.zip包上传
Azkaban搭建及使用_第6张图片
上传完成后点击Execute flow
Azkaban搭建及使用_第7张图片
出现如下,可以看见左下角是Schedule(用来做定时调度的),右下角有个Execute(进行单次任务的调度,就跑一次)
Azkaban搭建及使用_第8张图片

你可能感兴趣的:(Azkaban,Schedule)