Azkaban3.62版本搭建
Azkaban3.x版本部署
下载资料
从Azkaban的官网下载资料
第一步：cd 到需要安装的目录。
第二步: 执行 git clone https://github.com/azkaban/azkaban.git (克隆日期为2018年11月27号版本为3.6.2)，将azkaban下载到当前目录。
编译
进入到Azkaban目录下，可以看到如下目录结构：
在此目录下执行 :
./gradlew distTar
进行编译，编译成功后会在 azkaban-*/build/distributions/ 目录下获得以下几个tar包：
*azkaban-db-3.62.0-7-g4f2f631.tar.gz
*azkaban-exec-server-3.62.0-7-g4f2f631.tar.gz
*azkaban-web-server-3.62.0-7-g4f2f631.tar.gz
*azkaban-solo-server-3.62.0-7-g4f2f631.tar.gz
*azkaban-migration-3.62.0-7-g4f2f631.tar.gz
我们本次搭建需要的tar包有:
*azkaban-db-3.62.0-7-g4f2f631.tar.gz
*azkaban-exec-server-3.62.0-7-g4f2f631.tar.gz
*azkaban-web-server-3.62.0-7-g4f2f631.tar.gz
注意：在进行编译时需要保证虚拟机能够连接上外网，否则会编译失败
安装
本次安装采用的是azkaban集群模式进行安装的，具体配置情况如下：
| dsd | mysql,executorServer |
|---|---|
| dsf | webServer |
| dse | executorServer |
第一步：配置Mysql
Azkaban的元数据是交给Mysql进行管理的，我们需要在Mysql中建立专用的数据库用来保存Azkaban产生的元数据。具体步骤如下：
1）建库
#使用root权限进入数据库
mysql -uroot -p*******
#创建azkaban数据库
create database azkaban
#进入到azkaban数据库
use azkaban
#创建Azkaban数据库专用的用户
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
#授权
GRANT ALL ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
#刷新权限
FLUSH PRIVILEGES;
2）导入数据
首先解压 azkaban-db-3.62.0-7-g4f2f631.tar.gz 包，该包下包含一些mysql数据库的建表语句
#进入azkaban数据库
use azkaban
#导入数据
source /home/chenyang/export/azkaban-db-3.62.0-7-g4f2f631/create-all-sql-3.62.0-7-g4f2f631.sql
第二步：配置WebServer:
1）解压 azkaban-web-server-3.62.0-7-g4f2f631.tar.gz 包到指定服务器和指定目录并且重命名为azkaban-web-server-3.62.0-7，webServer目录结构为:
其中logs,extlib,plugins都是后来创建的，并且在logs目录下导入log4j.properties文件。
2）获取keystore
keytool -keystore keystore -alias jetty-genkey -keyalg RSA
输入密钥库口令:
再次输入新口令:
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的省/市/自治区名称是什么?
[Unknown]:
该单位的双字母国家/地区代码是什么?
[Unknown]:
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
[否]: 是
输入 的密钥口令
(如果和密钥库口令相同, 按回车):
再次输入新口令:
注意：这里要设置的密码比较多，为了防止弄混，建议全用一样的密码，至于要让填写信息的，直接回车即可，会返回unknown。
3）配置 azkaban.properties 文件
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
#注意时区一定要配置
default.timezone.id=Asia/Shanghai
# 配置用户管理的xml文件的地址
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
#配置jetty
jetty.use.ssl=false
jetty.ssl.port=8444
jetty.keystore=keystore
jetty.password=huawang
jetty.keypassword=huawang
jetty.truststore=keystore
jetty.trustpassword=huawang
jetty.maxThreads=25
jetty.port=8082
# 配置Executor端口号
executor.port=12321
# 配置邮箱选项
mail.sender=**************
mail.host=****************
mail.user=**************
mail.password=************
job.success.email=***********
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
#服务器类型
database.type=mysql
mysql.port=3306
#mysql服务器地址
mysql.host=dsd
#数据库名
mysql.database=azkaban
mysql.user=azkaban
#azkaban用户的密码
mysql.password=************
mysql.numconnections=100
4）配置用户
配置conf/azkaban-user.xml
第三步：配置ExecutorServer
1)解压
azkaban-exec-server-3.62.0-7-g4f2f631.tar.gz 到指定目录下，并且重命名为：azkaban-exec-server-3.62.0-7它的目录结构为：
其中logs,extlib,如果没有自己创建就可以了，在logs文件下添加log4j.properties配置文件。还有像execution文件实在运行后自动生成的文件。
2)修改conf/azkaban.properties文件
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
#一定要配置
default.timezone.id=Asia/Shanghai
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Where the Azkaban web server is located
azkaban.webserver.url=http://dsf:8082
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# 配置Azkaban依赖
azkaban.jobtype.plugin.dir=plugins/jobtypes
#配置Mysql
database.type=mysql
mysql.port=3306
mysql.host=dsd
mysql.database=azkaban
mysql.user=azkaban
mysql.password=oiRT6J1yiiXI1cJG
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.port=12321
azkaban.use.multiple.executors=true
#此项一定要配置，不然的话过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行导致任务一直处在**prepering状态**
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
第四步：启动
1）注意azkaban集群模式必须先启动executor-server,在启动webServer
2)注意：启动时在bin目录的上一层目录启动
./bin/start-exec.sh
#注意azkaban在启动时默认不会激活executor
#需要手动激活
#执行以下命令激活executor
curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo
#或者进入到Mysql数据库中 更改executors表中的active字段为1 进行激活
./bin/start-web.sh
2）登陆 web服务器地址:8082进行登陆
至此azkaban的搭建完成。