oozie简单搭建

oozie搭建

下载

  • http://archive-primary.cloudera.com/cdh5/cdh/5/
  • 全部采用cdh版本搭建
  • oozie-4.1.0-cdh5.4.11.tar.gz

安装

安装环境

    - centOS6.6
    - Java JDK 1.7
    - Maven 3.3.9
    - hadoop-2.6.0-cdh5.4.4
    - oozie-4.1.0-cdh5.4.11.tar.gz
    - ext-2.2.zip      

编译

直接下载编译好的安装包;

http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11.tar.gz

注意事项

  1. ExtJS版本必须是2.2版本
  2. 推荐使用Oozie这个Linux用户。这个暂时不需要管 (有权限问题,我使用的hdfs用户)

安装介绍

  • 本文解压的目录为:/home/oozie/software/oozie-4.1.0-cdh5.4.11


    oozie简单搭建_第1张图片
    1152977299.jpg

    目录分析:

    oozie-server-----其实就是一个tomcat
    src--------------源码
    bin--------------脚本
    lib-------------jar包
    conf------------配置文件
    oozie.war-------oozie工程
    oozie-sharelib-.tar.gz----调用hadoop、hive等的jar包(重要)
    oozie-example-
    .tar.gz---案例

配置hadoop的core-site.xml

  • 我们的Hadoop平台分用户搭建hdfs搭建在hdfs用户下,这里部署ooize用户也使用该用户,因为使用新建oozie用户有hdfs权限问题,部署Oozie的主机名为hdp1。修改Hadoop的配置文件core-site.xml,增加如下配置内容:


hadoop.proxyuser.hdfs.hosts
hdp1


hadoop.proxyuser.hdfs.groups
*

解压 oozie-hadooplibs-4.1.0-cdh5.4.11.tar.gz

  • 特别注意:解压的目录要与oozie解压的路径相同,解压完成后会在oozie根目录下生成一个hadooplibs文件!!!

创建libext目录

  • 拷贝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目录下

拷贝ext-2.2.zip到libext/目录下

oozie简单搭建_第2张图片
1253940190.jpg

创建war包并加到tomcat里

  • 执行命令生产war到制定目录

$ bin/oozie-setup.sh prepare-war


oozie简单搭建_第3张图片
792643509.jpg

重启hadoop进成,直到脱离安全模式

  • 先stop namenode、datanode、resourcemanager、nodemanager、historyserver,然后再分别start。
  • 执行如下命令

bin/oozie-setup.sh sharelib create -fs hdfs://hdp1.bjyn.com:9000 -locallib oozie-sharelib-4.1.0-cdh5.4.11-yarn.tar.gz
在 hdfs 50070 查看目录

oozie简单搭建_第4张图片
1286120026.jpg

初始化数据库

bin/ooziedb.sh create -sqlfile oozie.sql
bin/oozie-setup.sh db create -run -sqlfile /home/hdfs/software/oozie-4.1.0-cdh5.4.11/oozie.sql

oozie简单搭建_第5张图片
319659483.jpg
oozie简单搭建_第6张图片
1085671577.jpg

启动oozie守护进程Bootsrap

$ bin/oozied.sh start 后台启动
$ bin/oozie-run.sh 前台运行
$ bin/oozie admin -oozie http://localhost:11000/oozie -status 验证服务启动状态

oozie简单搭建_第7张图片
1713114422.jpg

查看界面

  • ip:11000/oozie/
oozie简单搭建_第8张图片
1880644795.jpg

参考:http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11/DG_QuickStart.html

http://cache.baiducontent.com/c?m=9d78d513d99217f54fede523505e8c310e54f1744cd5c7657fc3e54d841459550026bdb47d645646c4c40f7a1cff1701bfe73605664276eb8cc8ff168afd8f6268c26062274ad14219d912b29806639a71ce0df4f94ea1e9ab6cd2b3d5d1de5f52cb5800&p=843dc64ad4934eaf58e88c2c5b4a90&newp=9a769a478b934eaf58e8d0255241c9231610db2151d6d7176b82c825d7331b001c3bbfb423241202d1c37d6402ae4b58ecf7327233092ba3dda5c91d9fb4c57479d5&user=baidu&fm=sc&query=cdh+oozie+%B0%B2%D7%B0&qid=e7447d9100016caf&p1=7

你可能感兴趣的:(oozie简单搭建)