首次部署Azkaban(版本:3.76.0-22)踩坑总结

欢迎加入Axkaban学习交流群:710108279

 

1. -bash: ./bin/start.sh: /bin/bash^M: bad interpreter: No such file or directory 问题

描述:linux 启动脚本时报错:-bash: ./bin/start.sh: /bin/bash^M: bad interpreter: No such file or directory

原因:windows环境编译源码的话,文件的格式是dos,修改为unix 就OK了

解决:

查看文件格式 用vim 打开出错的文件 按 ESC键 再按shift+冒号

输入 set ff 回车 可以看见 该文件的格式 fileformat=dos按shift + 冒号 输入 set ff=unix 回车

可以按 shift + 冒号 set ff 查看 fileformat=unix

2. 运行启动脚本报错:“cannot find ‘database.properties‘ file in sql/database.properties”

描述:cd到bin目录执行start-sole.sh,会报错

原因:

解决:必须使用bin/azkaban-solo-start.sh或绝对路径方式执行脚本

 

3. azkaban.executor.ExecutorManagerException: No active executors found

描述:在two server node部署时,启动web server日志打印异常,启动web server的时候,日志报错如上

原因:exec server在启动后需要手动激活

解决:

方案1:

cd azkaban-exec-server/build/install/azkaban-exec-server curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

方案2:

修改数据库:update etl_azkaban.executors set active = 1;

 

4. ExecutorManagerException: executor became inactive before setting up the flow

描述:重启web server的时候,无法执行旧的flow,日志报错如上

原因:Azkaban Executor 启动后不会自动激活

解决:

执行命令手动激活executor:

curl http://localhost:41250/executor?action=activate

 

5. Unable to get scheduled flow triggers

描述:在执行任务的时候,任务始终处于Preparing(等待)状态

原因:web server在执行前会对executor进行一个过滤,我们需要修改这个过滤器规则,通常是内存限制

解决:

修改:/home/bigdataU/app/azkaban-web-server-3.76.0-11-gae741352/conf/azkaban.properties

#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

 

你可能感兴趣的:(azkaban,大数据)