azkaban的executor的分布式(集群)部署

最近在做azkaban的二次开发被azkaban的executor的分布式部署虐了一会儿,遇到问题时在网上也找不到解决方法,于是搞好之后决定写下了大体的做法:

azkaban本身是默认不支持分布式的executor的要想让其支持分布式的执行器首先得现在web服务器的配置文件azkaban.properties下面增添一行

azkaban.use.multiple.executors=true

这是最基本的配置了

然后当你的执行器开启之后要在数据库中手动把executor表里的所有要用的执行器的active字段置为1,这表示它们是可用的

最后很重要也是如果出错很难追溯的一点,你部署执行器的机器(我是在Linux下部署的)的/etc/hosts和/etc/hostname里一定要写好对应的关系,web-server部署的机器的/etc/hosts里得有所有执行器部署在的机器的ip和主机名映射,这样它才能找得到所有的执行器~

你可能感兴趣的:(azkaban的executor的分布式(集群)部署)