Azkaban集群模式安装与execute-as-user配置

简介

Azkaban在官网上的说明中介绍是支持集群模式的，网上看了不少文章，写得最多的是solo-server安装，零星的有几篇集群安装，但也没有说到很详细的地步。 而且execute-as-user都是关闭的，这个特性对我们很重要，因为HDFS上的操作如果没有这个特性，就是所有操作都是一个用户做的，问题追溯很不方便。 这次正好工作中有机会做安装，运维同事又档期不足，所以顺便把整个过程记录下来。

注意：所有的配置与启动操作都需要使用root账号

准备工作

下载源码

Azkaban官网上没有构建好的发布包，代码版本：3.50.0。下载

构建环境准备

构建Azkaban代码，需要的组件： Gradle
gcc g++ git 这三个都用yum做安装。

构建

安装组件完毕后，进入到azkaban的源代码根目录，执行操作

./gradlew build
./gradlew installDist

构建之后，每个组件的包在自己的目录里，这些目录里有build/distributions，构建结果就在这里。

特殊组件

execute-as-user特性由单独的一个名为execute-as-user.c文件编译的结果提供的，但是用gradle构建不会编译这个c文件。
当前版本中，这个文件在 az-exec-util/src/main/c目录下。

使用 gcc execute-as-user.c -o execute-as-user 命令编译
然后使用chown root execute-as-user 和 chmod 6050 execute-as-user 设置权限
设置完权限后，ls -l 看下，这个文件的属性这样的

---Sr-s--- 1 root root 10185 Aug  3 13:02 execute-as-user

如果我们要把这个文件复制到其他目录下，就又会变成普通文件，记得复制完了再做一次 chmod 6050 execute-as-user

部署

把azkaban-web-server.0.1.0.tar.gz和azkaban-exec-server.0.1.0.tar.gz 分别放到不同的机器上。我测试用就放到了两台机器的/opt目录下，后面文章中两台机器分别命名为web-server和exec-server。

配置

MySQL

为Azkaban安装MySQL的操作网上太多了，此处忽略掉了。唯一要注意的是，这个版本的sql创建脚本中，有一些字段varchar类型长度超过了mysql的限制，所以创建表的时候如果报错，把varchar字段长度修改为128即可。目前发现的表一个是execution_logs，另外一个是execution_jobs。

web-server

登录到web-server机器上，进入/opt目录，解压azkaban-web-server-0.1.0-SNAPSHOT.tar.gz ，把azkaban-web-server-0.1.0-SNAPSHOT目录修改为azkaban-web目录，进入目录内部

补全目录

当前目录内有 bin lib web 三个目录，还需要手动建立 conf extlib plugins三个目录。

• bin 启动停止脚本
• conf 配置文件
• extlib mysql驱动
• lib azkaban的jar文件
• web web-server的web资源，css js之类
• plugins 插件

配置web-server

进入conf目录，这里面应该放四个配置文件 azkaban.properties、global.properties和azkaban-users.xml、log4j.properties，编译好的solo-server里有这些配置文件，可以copy过来。我们主要修改的就是azkaban.properties。

keystore

web-server内置的jetty会是可以开启ssl的，我们需要为ssl生成key，这个操作网上一搜一大把。比如这里，按照说明步骤，一顿无脑操作，得到keystore和truststore

azkaban.properties

这个文件里的内容如下

# web-server个性化设置,包azkaban的名称，标签，颜色，sevlet路径，web资源路径，时区。除了时区之外我们都用默认的
azkaban.name=Azkaban
azkaban.label=BigdataTeam
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# 用户管理配置，使用默认的管理类XmlUserManager，配置文件就是之前说的azkaban-users.xml
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# 数据库配置
database.type=mysql
mysql.port=3306
mysql.host=ip地址
mysql.database=azkaban
mysql.user=数据库用户名
mysql.password=数据库密码
mysql.numconnections=100

#Velocity模板
velocity.dev.mode=false
# Jetty配置 开启ssl，没设置端口是因为ssl默认8443
jetty.use.ssl=true
jetty.maxThreads=25
jetty.keystore=刚才生成的keystore的路径+文件名称
jetty.password=keystore生成时输入的第一个密码
jetty.keypassword=keystore生成时输入的第二个密码
jetty.truststore=刚才生成的truststore的路径+文件名称
jetty.trustpassword=truststore生成时输入的密码

#任务监控时发送邮件的账号和目标邮箱地址，我们自己的监控是任务失败短信提醒，所以不需要
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

#集群多Executor时的配置，从官网copy的
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

注意：这个脚本里面所有的配置文件都写了相对路径，启动azkaban的时候，就在/opt/azkaban-web目录中使用bin/start-web.sh启动，不然azkaban会找不到配置文件

log4j.properties

官网没提这东西，但是没有这个文件启动不了。去azkaban-web-server的源码中搜了一个，然后放到conf目录里。

azkaban-users.xml

这个文件里我们配置azkaban的用户，具体的配置我先不写了，很简单看这里需要注意的是，因为我们开启了execute-as-user，所以添加的用户都需要是exec-server机器上的操作系统账号，且属于同一个用户组（原因参考exec-server部分的 配置plugins 小节）

exec-server

登录到exec-serve上，进入/opt目录，解压azkaban-exec-server.0.1.0-SNAPSHOT.tag.gz ，将解压得到的目录：azkaban-exec-server.0.1.0-SNAPSHOT重命名为azkaban-exec，进入到这个目录下。

补全目录

进入到这个目录里，子目录为bin和lib，还需要手动创建conf extlib plugins 三个目录

• bin 启动停止脚本
• conf 配置文件
• lib azkaban的jar包
• extlib mysql驱动包
• plugins 插件配置

配置exec-server

进入conf目录，这里面应该放三个配置文件 azkaban.properties、global.properties和log4j.properties，编译好的solo-server里有这些配置文件，可以copy过来。我们主要修改的就是azkaban.properties。

azkaban.properties

# 时区配置
default.timezone.id=Asia/Shanghai

# 加载任务时需要的配置
executor.global.properties=conf/global.properties
# azkaban执行任务时，工程代码放的位置
azkaban.project.dir=projects
# MySQL配置
database.type=mysql
mysql.port=3306
mysql.host=IP地址
mysql.database=azkaban
mysql.user=
mysql.password=
mysql.numconnections=100

# 当前executor端口
executor.port=12321
# 邮件配置
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# 插件配置位置
azkaban.jobtype.plugin.dir=plugins/jobtypes

配置plugins

进入plugins目录，创建jobtypes目录，然后cd进去。在这里创建一个名为commonprivate.properties的配置文件。如果要关闭execute-as-user特性，就在这里写execute.as.user=false（默认是true）。但我们就是要这个特性，所以不对这个属性做设置。然后添加如下配置

# 这个配置是我们前面编译的execute-as-user.c文件编译后的结果（就是那个execute-as-user文件）的存储位置，
# 我没试过相对位置，但绝对位置肯定好用
azkaban.native.lib=/opt/azkaban-exec/plugins/jobtypes
# 任务执行的时候，我们开启了execute-as-user属性，
# azkaban不知道登录用户对应的系统用户的所属组，默认会使用azkaban这个组（但很可能当前机器上没有这个组）
# 所以我在executor这个机器上创建了一个bigdata用户组，未来所有使用azkaban的人员他们在这台机器上的账号所属的组都是bigdata
azkaban.group.name=bigdata

log4j.properties

官网同样没提这东西，但是没有这个文件启动不了。去azkaban-exec-server的源码中搜了一个，然后放到conf目录里。

启动

现在这个版本，启动各个节点是有顺序要求的。按下面的顺序来应该没问题

启动exec-server

到azkaban-exec目录下，执行 bin/start-exec.sh ，jps一下应该可以看到进程了。

坑爹要点

修改MySQL数据

启动完exec-server之后，需要到mysql中去把executors表更新一下，把对应的executor的active字段设置为 1 。不然没有状态为1的executor，web-server启动不了。我看exec-server代码中，有一个Servlet对外提供了方法，让web-server启动完毕后，http调用下这个方法，exec-server就会把自己设置为active=1的状态，但是web-server那边启动的时候先判断有没有处在active=1状态的executor，后面才发这个http请求，所以如果不手动设置一下web-server肯定启动报错。不知道是不是azkaban的bug。启动后我们手工发个http请求给exec-server设置active为1是不是可以我还没去尝试。

修改web-server的hosts

启动完executor后，观察executors表中的记录，会发现这个表里的host字段存储的是主机名，web-server通过这个字段和端口字段的值向exec-server发送消息，所以web-server那台机器上的hosts要增加配置。

关闭exec-server

关闭exec-server时要注意，exec-server的代码会根据host和端口把自己这条记录从executors表中删掉，下次启动的时候我们还要手工去设置active字段为1

启动web-server

到azkaban-web目录下，执行bin/start-web.sh,jps下就可以看到进程了。

关闭

web-server和exec-server的bin目录下都有对应的shutdown脚本，bin/shutdown-web.sh 和 bin/shutdown-exec.sh

日志

目前输出的日志文件都在web-server和exec-server的根目录下（/opt/azkaban-web或者/opt/azkaban-exec），有什么问题可以看这里的日志见招拆招

结束

到这里，azkaban应该已经可以正常运行了，到浏览器里敲下 https://xxx.xxx.xxx.xxx:8443 试试吧。