Azkaban安装部署
我的博客https://jiamaoxiang.top/
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
安装前准备
(1)将Azkaban Web服务器、Azkaban执行服务器要安装机器的/opt/software目录下：
- azkaban-web-server-2.5.0.tar.gz
- azkaban-executor-server-2.5.0.tar.gz
- azkaban-sql-script-2.5.0.tar.gz
- mysql-libs.zip
(2)目前azkaban只支持 mysql作为元数据库，需安装mysql，本文档中默认已安装好mysql服务器
安装Azkaban
(1)在/opt/module/目录下创建azkaban目录
(2)解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/opt/module/azkaban目录下
解压完成后的文件夹如下图所示：
[外链图片转存失败(img-lmHpOBcX-1566970411559)(Azkaban安装部署/1.png)]
(3)初始化Azkaban的元数据库
登录mysql，创建azkaban的数据库，并执行脚本create-all-sql-2.5.0.sql，如下所示：
mysql> create database azkaban;
Query OK, 1 row affected (0.00 sec)
mysql> use azkaban;
Database changed
mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
创建SSL配置
(1)生成 keystore的密码及相应信息
[root@cdh02 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y
输入的主密码
（如果和 keystore 密码相同，按回车） ：
(2)将keystore 考贝到 azkaban web服务器根目录中
[root@cdh02 azkaban]# mv keystore azkaban-web-2.5.0/
Web服务器配置
(1)进入azkaban web服务器安装目录 conf目录，修改azkaban.properties文件
(2)按照如下配置修改azkaban.properties文件
#Azkaban Personalization Settings
#服务器UI名称,用于服务器上方显示的名字
azkaban.name=Test
#描述
azkaban.label=My Local Azkaban
#UI颜色
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
#根web目录,配置绝对路径，即web的目录
web.resource.dir=/opt/module/azkaban/azkaban-web-2.5.0/web
#默认时区,已改为亚洲/上海 默认为美国
default.timezone.id=Asia/Shanghai
##用户权限管理默认类
user.manager.class=azkaban.user.XmlUserManager
#用户配置,配置绝对路径，即azkaban-users.xml的路径
user.manager.xml.file=/opt/module/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml
#Loader for projects .global配置文件所在位置,即global.properties绝对路径
executor.global.properties=/opt/module/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=projects
#数据库类型
database.type=mysql
mysql.port=3306
mysql.host=cdh01
mysql.database=azkaban
mysql.user=root
#数据库密码
mysql.password=123qwe
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
#最大线程数
jetty.maxThreads=25
#Jetty SSL端口
jetty.ssl.port=8443
#Jetty端口
jetty.port=8081
#SSL文件名,即keystore绝对路径
jetty.keystore=/opt/module/azkaban/azkaban-web-2.5.0/keystore
#SSL文件密码,本配置与keystore密码相同
jetty.password=123qwe
#Jetty主密码 与 keystore文件相同
jetty.keypassword=123qwe
#SSL文件名,即keystore绝对路径
jetty.truststore=/opt/module/azkaban/azkaban-web-2.5.0/keystore
# SSL文件密码
jetty.trustpassword=123qwe
# 执行服务器属性, 执行服务器端口
executor.port=12321
# 邮件设置,发送邮箱
[email protected]
#发送邮箱smtp地址
mail.host=smtp.163.com
#发送邮件时显示的名称
mail.user=xxxxxxxx
#邮箱密码
mail.password=**********
#任务失败时发送邮件的地址
[email protected]
#任务成功时发送邮件的地址
[email protected]
lockdown.create.projects=false
#缓存目录
cache.directory=cache
(3)web服务器用户配置
在azkaban web服务器安装目录 conf目录，按照如下配置修改azkaban-users.xml 文件，增加管理员用户。
executor服务器配置
(1)进入executor安装目录，修改azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=./../plugins/jobtypes
#Loader for projects
executor.global.properties=/opt/module/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=cdh01
mysql.database=azkaban
mysql.user=root
mysql.password=123qwe
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
启动web服务器
[root@cdh02 azkaban-web-2.5.0]# bin/azkaban-web-start.sh &
启动executor服务器
[root@cdh02 azkaban-executor-2.5.0]# bin/azkaban-executor-start.sh &