最近学习到一些大数据协同框架,其中遇到了一个工作流协同框架oozie,在安装oozie之前必须先安装好hadoop,Oozie环境搭建稍微比较麻烦一点,记录一下;
首先准备资源:
CDH版本的oozie: oozie-4.0.0-cdh5.3.6.tar.gz
ExtJS的压缩包: ext-2.2.zip
CDH版本的Hadoop: hadoop-2.5.0-cdh5.3.6.tar.gz
现在开始安装:
(1).配置Hadoop的 core-site.xml 文件,具体配置内容如下:
hadoop.proxyuser.[OOZIE_SERVER_USER].hosts [OOZIE_SERVER_HOSTNAME] hadoop.proxyuser.[OOZIE_SERVER_USER].groups [USER_GROUPS_THAT_ALLOW_IMPERSONATION]
注释:[OOZIE_SERVER_USER]填写访问Tomcat的用户名
[OOZIE_SERVER_HOSTNAME]填写安装Tomcat服务器的机器的主机名
[USER_GROUP_THAT_ALLOW_TMPERSONATION]一般填写*标识符,表示所用用户都可以访问
(2).减压 oozie-4.0.0-cdh5.3.6.tar.gz
tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz .
(3).减压 oozie-4.0.0-cdh5.3.6 下的 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
(4).在(2)步骤减压后的目录下创建 libext 目录
mkdir libext/
(5). cp /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/*
/opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext
(6).cp /home/shiluo/Desktop/ext-2.2.zip /opt/chd5.3.6/oozie-4.0.0-cdh5.3.6/libext
(7).执行 bin/oozie-start.sh prepare-war 命令生成war包并放入Tomcat的 webapp 下,如果成功出现已生成oozie.war包
的提示
(8).然后启动 Hadoop 的两个后台进程,分别是 Namenode Datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
(9).接着运行如下命令,完成共享包的创建:
bin/oozie-setup.sh sharelib create -fs hdfs://hadoop02.shiluo.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
(10).然后执行数据库的创建命令,如下:
bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
(11).最后执行Tomcat启动命令,如下
bin/oozied.sh start
(12).在浏览器中输入hadoop02.shiluo.com:11000出现如下截图,则证明 oozie 成功
注意:所有配置项配置完毕并启动服务以后,访问前端控制台,如果不能成功访问,则需要修改oozie-site.xml文件
的 hadoop 配置文件位置,如下截图所示,配置完成以后重新启动Tomcat即可访问。