本篇文章主要介绍Oozie的搭建,Oozie在任一节点安装即可。
下载地址(http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.8.0.tar.gz),选择hadoop和oozie的对应版本,版本一定要对应,否则可能安装成功但运行时可能不成功。
解压命令如下:
tar -zxvf oozie-4.1.0-cdh5.8.0.tar.gz
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0目录:
# 进入 oozie-4.1.0-cdh5.8.0 目录
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0
# 解压目录下的 oozie-hadooplibs-4.1.0-cdh5.8.0.tar.gz 文件
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.8.0.tar.gz
# 进入解压后的目录
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0/oozie-4.1.0-cdh5.8.0
# 移动 hadooplibs 目录到 oozie-4.1.0-cdh5.8.0 根级目录
mv hadooplibs /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0/
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0目录,复制jar和ext-2.2.zip(下载地址)到新建的libext目录下:
# 进入 oozie-4.1.0-cdh5.8.0 目录
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0
# 创建 libext 目录
mkdir libext
# 复制 hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6 目录下的数据到 libext 目录下
cd /home/hadoop/yangyang/oozie/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6
cp -p * /home/hadoop/yangyang/oozie/libext
# 上传 ext 文件到 libext 目录下
cd /home/hadoop/yangyang/oozie/libext
rz ext-2.2.zip
# 进入 oozie-4.1.0-cdh5.8.0 目录
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0
# 添加 mysql 驱动
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0/libext
rz mysql-connector-java-5.0.8-bin.jar
# 添加 mysql 驱动
cd /home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0/lib
rz mysql-connector-java-5.0.8-bin.jar
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0/conf目录:
oozie.service.HadoopccessorService.hadoop.configurations
*=/home/hadoop/app/hadoop/hadoop-2.6.5
hadoop 安装路径
oozie.service.JPAService.jdbc.driver
com.mysql.jdbc.Driver
oozie.service.JPAService.jdbc.url
jdbc:mysql://192.168.129.13:3306/oozie?characterEncoding=utf-8
配置 jdbc
oozie.service.JPAService.jdbc.username
root
oozie.service.JPAService.jdbc.password
123456
oozie.service.ProxyUserervic.proxyuser.hadoop.hosts
oozie.service.ProxyUserervic.proxyuser.hadoop.groups
oozie.service.HadoopAccessorService.jobTracker.whitelist
whitelisted job tracker for oozie service
oozie.service.HadoopAccessorService.nameNode.whitelist
whitelisted job tracker for oozie service
oozie.service.WorkflowAppService.system.libpath
/user/hadoop/share/lib
hdfs 保存 lib 位置
mysql -uroot -p123456
create database oozie;
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0目录,执行如下命令生成数据:
bin/oozie-setup.sh db create -run oozie.sql
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0目录,执行如下命令生成数据:
bin/oozie-setup.sh prepare-war
进入/home/hadoop/app/oozie/oozie-4.1.0-cdh5.8.0目录,执行如下命令生成数据:
bin/oozie-setup.sh sharelib create -fs hdfs://master01:8020 -locallib oozie-sharelib-4.1.0-cdh5.8.0-yarn.tar.gz
bin/oozied.sh start