oozie问题总结

遇到的问题

• oozie的sqoop节点配置过多时启动卡死现象,报错为Heart beat

解决方式:将oozie的action队列和launcher队列分开配置参数如下 oozie.launcher.mapred.job.queue.name mapreduce.job.queuename(mapred.job.queue.name)
  原因分析:oozie中job的调度是通过hadoop中的map 来完成的.oozie中每启动一个job action都会启动一个launcher action作为加载加载作业使用,对应的每个action都需要一个AM.launcher 加载完作业后不会立即结束,需要等到 job action完成后才会结束. 在动态资源池配置中,AM占用队列资源比默认是0.5.这样的话,如果同时fork多个节点的话,会出现launcher action 把AM的资源占满,造成job action 的卡死. 通过配置两个资源队列来把launcher action和 job action 分开,这样 launcher AM 和job AM 不会有资源竞争.每个资源队列中会有相应的算法,这样就不会有卡死的现象.

-错误信息:ERROR org.apache.sqoop.tool.ExportTool - Encountered IOException running export job:java.io.IOException:com.google.common.util.concurrent.UncheckedExecutionException: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory

解决方式:应为使用到了hive的元数据,所有需要在workflow.xml中配置

hive.metastore.uris
${hive_meta_urls}