Bug死磕之hue集成的oozie+pig出现资源任务死锁问题



这两天,打算给现有的Apache Hadoop2.7.1的集群装个hue,方便业务人员使用hue的可视化界面,来做一些数据分析任务,这过程遇到不少问题,不过大部分最终都一一击破,收获经验若干,折腾的过程,其实也是一个学习的过程,一个历练的过程,我相信优秀的人,都是经历过无数磨难成就的,并且有着坚持不放弃的心态,迎接各种挑战,如果你总是遇到困难就放弃,那么你永远也不能成为最优秀的人,废话不多说了,下面开始进入正题: 

一安装hue 

1,到官网下载   http://gethue.com/categ
2,解压到某个目录hue 
3,安装依赖:yum install -y asciidoc cyrus-sasl-deve++ krb5-devel  libtidy  libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel   sqlite-devel openssl-devel  gmp-devel 
4,进入hue目录,运行make apps编译 
5,配置desktop/conf/hue.ini 
6,启动build/env/bin/supervisor 杀死脚本(ps -ef | grep hue-  | gawk '{print $2}' | xargs kill -9) 

伦理片 http://www.dotdy.com/

如果你的hue只是用来操作hive的,那么没必要安装oozie了,那么整个流程就简单了,进入hive目录启动memstore和hiveserver2服务即可: 
bin/hive --service metastore 
bin/hiveserver2 
一个使用hue查询的hive的查询如下: 

Bug死磕之hue集成的oozie+pig出现资源任务死锁问题_第1张图片


很漂亮,用来调试sql非常方便,如果你想使用工作流或者pig功能,那么就需要安装oozie了 
oozie安装编译比较坑,这里需要注意一下,目前最新的版本oozie的最新版本是4.2.0,但是依赖的 
hive只支持0.13.1 
hbase支持到0.94.2 
spark,hadoop,pig均可支持当然最新版本 
而且pom文件里面用到的codehash镜像已经失效,如果不去掉,则会编译失败: 

Java代码   收藏代码
  1.   
  2.            Codehaus repository  
  3.            http://repository.codehaus.org/  
  4.              
  5.                false  
  6.              
  7.          


(二) 安装oozie 
1,下载oozie 
wget  http://archive.apache.org/dist/oozie/4.2.0/oozie-4.2.0.tar.gz 

2,解压至某个盘符,修改其根目录下的pom文件里面的pig(加载类是h2,代表hadoop2.x),hadoop,hbase,hive,spark等版本,hbase和hive使用最新的可能会编译失败,这一点需要注意,经测试hbase0.94.2和hive0.13.1可正常编译通过, 

3,修改完毕后,执行编译 
bin/mkdistro.sh -P hadoop-2 -DskipTests 
或 
mvn clean package assembly:single -P hadoop-2 -DskipTests 
4,执行成功后,拷贝oozie-4.2.0/distro/target/oozie-4.2.0-distro.tar.gz 至安装目录, 
具体请参考我的这篇文章: 

(三)在hue里面测试pig脚本: 

写一个简单的pig脚本: 

Bug死磕之hue集成的oozie+pig出现资源任务死锁问题_第2张图片



点击运行,发现oozie会启动两个任务,一个是launcher,一个pig脚本,lancher任务一直卡着95%进度,不再有任何变化,而主体的pig脚本,则一直在初始化阶段,不能被执行,看日志log无任何错误,就是一直打印 
Heart beat 
Heart beat 
Heart beat 
...... 

经过查资料,发现在集群小的时候,如果集群资源不充足,导致RM无法分配多个MR的资源,就会一直等待,然后整个任务就会处于假死状态,一直死锁不运行,其实就是多个MR任务,抢占资源,导致最后谁也运行不了造成的,如何解决? 

方案一: 
切换haodop集群默认使用的容量调度器为公平调度器,允许当前队列最多只能运行一个MR任务,多了就阻塞等待。 
方案二: 
切换haodop集群默认使用的容量调度器为公平调度器,创建多个队列把任务提交到不同的队列里面,避免资源抢占 

Xml代码   收藏代码
  1. <property>  
  2.    <name>yarn.resourcemanager.scheduler.classname>  
  3.    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedulervalue>  
  4.  property>  
  5.   
  6.   
  7.  <property>  
  8.  <name>yarn.scheduler.fair.allocation.filename>  
  9.  <value>file:/%HADOOP_HOME%/etc/hadoop/fair-scheduler.xmlvalue>  
  10. lt;/property>  

fair-scheduler.xml配置: 
Xml代码   收藏代码
  1. xml version="1.0"?>  
  2. <allocations>  
  3.   <queue name="test">  
  4.     <minResources>1000 mb, 1 vcoresminResources>  
  5.     <maxResources>5000 mb, 1 vcoresmaxResources>  
  6.     <maxRunningApps>1maxRunningApps>  
  7.     <aclSubmitApps>webmasteraclSubmitApps>  
  8.     <weight>2.0weight>  
  9.     <schedulingPolicy>fairschedulingPolicy>  
  10.     <queue name="test-sub">  
  11.         <aclSubmitApps>webmasteraclSubmitApps>  
  12.         <minResources>500 mb, 1 vcoresminResources>  
  13.     queue>  
  14.   queue>  
  15.   <user name="root">  
  16.     <maxRunningApps>1maxRunningApps>  
  17.   user>  
  18.  <user name="webmaster">  
  19.     <maxRunningApps>1maxRunningApps>  
  20.   user>  

你可能感兴趣的:(Bug死磕之hue集成的oozie+pig出现资源任务死锁问题)