Oozie环境的搭建

最近学习到一些大数据协同框架,其中遇到了一个工作流协同框架oozie,在安装oozie之前必须先安装好hadoop,Oozie环境搭建稍微比较麻烦一点,记录一下;


首先准备资源:

CDH版本的oozie:                  oozie-4.0.0-cdh5.3.6.tar.gz

        ExtJS的压缩包:                   ext-2.2.zip 

        CDH版本的Hadoop:            hadoop-2.5.0-cdh5.3.6.tar.gz


现在开始安装:

(1).配置Hadoop的 core-site.xml 文件,具体配置内容如下:

      

	
    		hadoop.proxyuser.[OOZIE_SERVER_USER].hosts
    		[OOZIE_SERVER_HOSTNAME]
  	
  	
    		hadoop.proxyuser.[OOZIE_SERVER_USER].groups
    		[USER_GROUPS_THAT_ALLOW_IMPERSONATION]
  	
	注释:[OOZIE_SERVER_USER]填写访问Tomcat的用户名
	    [OOZIE_SERVER_HOSTNAME]填写安装Tomcat服务器的机器的主机名
	    [USER_GROUP_THAT_ALLOW_TMPERSONATION]一般填写*标识符,表示所用用户都可以访问
	
	(2).减压 oozie-4.0.0-cdh5.3.6.tar.gz
	    tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz .

	(3).减压 oozie-4.0.0-cdh5.3.6 下的 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
	    tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
 
  
	(4).在(2)步骤减压后的目录下创建 libext 目录
	    mkdir libext/
 
  
	(5). cp /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/*   
	       /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext
 
  
	(6).cp /home/shiluo/Desktop/ext-2.2.zip   /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext
 
  
	(7).执行 bin/oozie-start.sh prepare-war 命令生成war包并放入Tomcat的 webapp 下,如果成功出现已生成oozie.war包
	    的提示
 
  
	(8).然后启动 Hadoop 的两个后台进程,分别是 Namenode Datanode
	    sbin/hadoop-daemon.sh start namenode
	    sbin/hadoop-daemon.sh start datanode
 
  
	(9).接着运行如下命令,完成共享包的创建:
	    bin/oozie-setup.sh sharelib create -fs hdfs://hadoop02.shiluo.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
 
  
	(10).然后执行数据库的创建命令,如下:
	     bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
 
  
	(11).最后执行Tomcat启动命令,如下
	     bin/oozied.sh start
 
  
	(12).在浏览器中输入hadoop02.shiluo.com:11000出现如下截图,则证明 oozie 成功
 
  
	注意:所有配置项配置完毕并启动服务以后,访问前端控制台,如果不能成功访问,则需要修改oozie-site.xml文件
	      的 hadoop 配置文件位置,如下截图所示,配置完成以后重新启动Tomcat即可访问。
 
  
	      
 
  
 
  
 
  

你可能感兴趣的:(centos,hadoop,oozie,workflow)