azkaban安装部署

1.下载azkaban源码git链接地址

2.中央maven太慢，修改为阿里云的仓库，修改build.gradle文件

buildscript {
     
  repositories {
     
    maven {
     
      url 'https://maven.aliyun.com/repository/gradle-plugin'
    }
  }

allprojects {
     
  apply plugin: 'jacoco'

  repositories {
     
    maven {
     
      url 'https://maven.aliyun.com/repository/gradle-plugin'
    }
  }
}

windows环境

windows环境下就下一个git工具
在azkaban-master执行./gradlew distTar

3.D:\WorkProject\azkaban-master\azkaban-exec-server\build\distributions 基本都在这种目录下回有编译好的zip包

Linux环境

使用git下载源码

git clone https://github.com/azkaban/azkaban.git

git clone https://github.com/azkaban/azkaban-plugins.git

得到两个文件夹:

编译azkaban,进入目录 cd azkaban

输入命令编译: ./gradlew distTar -x test

直到出现:BUILD SUCCESSFUL

编译好的jar包在目录: azkaban-solo-server/build/distributions

编译之前需要安装: apache-ant-1.9.13-bin.zip 和 gradle-2.14-bin.zip 并设置环境变量

附加：可不做
编译/azkaban-plugins

进入目录: /azkaban-plugins 执行 ant

安装部署

将得到的这三个压缩包解压

1. 先将azkaban需要的表创建

建库语句
create datebase azkaban;
use azkaban;
source /home/azkaban-all/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.web-server配置
用keyTool去生成一个免费的ssl

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

命令简介：keystore 是存储的库，-alias 取名，-genken用途 就是要用keytool干什么，-keyalg生成秘钥的算法

不用https就改为false就好了

附加
加入用户就 添加user标签

3. exec-server配置

启动azkaban

execServer

./bin/start-exec.sh 

webServer

[root@izuf6eujx8kf2ch5xjeb0uz azkaban-web-server]# ls
bin  conf  keystore  lib  web
[root@izuf6eujx8kf2ch5xjeb0uz azkaban-web-server]# ./bin/start-web.sh 

报错

进入数据库，修改后成功

update azkaban.executors set active=1;

查看端口号

tail -111f webServerLog_2020-05-18+15\:08\:18.out 

效果

IP:18448

运行错误

一直preparing

解决azkaban3.7执行job时一直处于preparing状态问题：

1.考虑内存问题：
修改azkaban-web下的azkaban.properties配置文件
去掉MinimumFreeMemory
过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行
即为：
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

解决azkaban3.7执行job时一直失败问题：

Rolling back executor assignment for execution id:16

可能原因

1.executors未激活

curl http://${executor.host}:${executor.port}/executor?action=activate

参考链接

2.权限不足(解决方案)

chown root:root ./azkaban-exec-server/ -R