大数据学习笔记之Oozie(一):Oozie入门

文章目录

  • 1、Oozie英文翻译
  • 2、Oozie简介
  • 3、Oozie在集群中扮演的角色
  • 4、Oozie的功能模块
  • 5、Oozie的节点
  • 6、Oozie的安装与部署
  • 7、案例
    • 7.1、案例一:使用Oozie调度Shell脚本
    • 7.2、案例二:执行多个Job调度
    • 7.3、案例三:调度MapReduce任务
    • 7.4、案例四:Coordinator周期性调度任务(这个最后是没有成功的,start和stop配置的格式的问题,不要修改时区试试,毕竟修改时区是为了强迫症患者~)
  • 小问题总结 (排查问题):

1、Oozie英文翻译

驯象人

2、Oozie简介

一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。
Oozie需要部署到Java Servlet容器中运行。

3、Oozie在集群中扮演的角色

定时调度任务,多任务可以按照执行的逻辑顺序调度。

4、Oozie的功能模块

4.1、Workflow
顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个)
大数据学习笔记之Oozie(一):Oozie入门_第1张图片
4.2、Coordinator
定时触发workflow

4.3、Bundle Job
绑定多个Coordinator

5、Oozie的节点

5.1、控制流节点(Control Flow Nodes)
控制流节点一般都是定义在工作流开始或者结束的位置,比如start,end,kill等。以及提供工作流的执行路径机制,
如decision,fork,join等。

5.2、动作节点(Action Nodes)
就是执行具体任务动作的节点。

6、Oozie的安装与部署

6.1、解压Oozie(有桌面版的有非桌面版的,下面这个是桌面版的,ext-2.2.zip是非桌面版的)
$ tar -zxf /opt/softwares/oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
6.2、Hadoop配置文件修改,完成后scp到其他机器节点
6.2.1、core-site.xml

<!-- Oozie Server的Hostname -->
//配置中的admin可以改为其他的用户,比如root
<property>
//代理的用户是admin
<name>hadoop.proxyuser.admin.hosts</name>
<value>*</value>
</property>

<!-- 允许被Oozie代理的用户组 -->
<property>
//允许被Oozie代理的用户组是admin所在的组,admin所在的组,都允许被所有的用户代理
<name>hadoop.proxyuser.admin.groups</name>
<value>*</value>
</property>

6.2.2、配置JobHistoryServer服务(必须)
mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ,通信,默认端口10020 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior01.itguigu.com:10020</value>
</property>

<!-- 配置 MapReduce JobHistory Server web ui 地址,展示web, 默认端口19888 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior01.itguigu.com:19888</value>
</property>

yarn-site.xml

<!-- 任务历史服务 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop-senior01.itguigu.com:19888/jobhistory/logs/</value> 
</property> 

完成后:记得scp同步到其他机器节点
6.3、开启Hadoop集群
$ sh ~/start-cluster.sh(这是之前hive学习的时候的一个脚本:https://blog.csdn.net/dataiyangu/article/details/90116342#_126)
主要是最后一句话,开启JobHistoryServer
大数据学习笔记之Oozie(一):Oozie入门_第2张图片
jps看一下
大数据学习笔记之Oozie(一):Oozie入门_第3张图片

尖叫提示:需要配合开启JobHistoryServer

最好执行一个MR任务进行测试。
大数据学习笔记之Oozie(一):Oozie入门_第4张图片
大数据学习笔记之Oozie(一):Oozie入门_第5张图片
大数据学习笔记之Oozie(一):Oozie入门_第6张图片
succeeded说明成功了
6.4、解压hadooplibs
$ tar -zxf /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
完成后Oozie目录下会出现hadooplibs目录

目录结构:
在这里插入图片描述

6.5、在Oozie目录下创建libext目录
$ mkdir libext/
6.6、拷贝一些依赖的Jar包
6.6.1、将hadooplibs里面的jar包,拷贝到libext目录下
$ cp -ra /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/
6.6.2、拷贝Mysql驱动包到libext目录下
$ cp -a /opt/softwares/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/libext/
如果不拷贝mysql的驱动包,Oozie会报错
6.7、将ext-2.2.zip拷贝到libext/目录下
$ cp /opt/softwares/ext-2.2.zip libext/
6.8、修改Oozie配置文件
6.8.1、oozie-site.xml

** JDBC驱动
oozie.service.JPAService.jdbc.driver
com.mysql.jdbc.Driver                                           
                                                                
** Mysql的oozie数据库的配置                                            
oozie.service.JPAService.jdbc.url                               
jdbc:mysql://192.168.122.20:3306/oozie                          
                                                                
** 数据库用户名                                                       
oozie.service.JPAService.jdbc.username                          
root                                                            
                                                                
** 数据库密码                                                        
oozie.service.JPAService.jdbc.password                          
123456                                                          
                                                                
** 让Oozie引用Hadoop的配置文件                                          
oozie.service.HadoopAccessorService.hadoop.configurations       
真的就是这样:--> *=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop  						

6.9、在Mysql中创建Oozie的数据库
6.9.1、进入数据库
$ mysql -uroot -p123456
6.9.2、创建oozie数据库
mysql> create database oozie;
6.10、初始化Oozie的配置
6.10.1、上传Oozie目录下的yarn.tar.gz文件到HDFS(尖叫提示:yarn.tar.gz文件会自行解压)
$ bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-senior01.itguigu.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

执行成功之后,去50070检查对应目录有没有文件生成。
大数据学习笔记之Oozie(一):Oozie入门_第7张图片
6.10.2、创建oozie.sql文件
$ bin/oozie-setup.sh db create -run -sqlfile oozie.sql

cat oozie.sql
大数据学习笔记之Oozie(一):Oozie入门_第8张图片
里面有很多oozie依赖的表结构
6.10.3、打包项目,生成war包
$ bin/oozie-setup.sh prepare-war

注意:在打包的过程中oozie线程没有被停掉的话,打包是失败的,如果oozie 的进程停掉了,一定会成功吗?cd oozie-server/temp 有一个safeToDelete.tmp临时文件,如果oozie在没有配置好的情况下,已经不小心的启动了,现在需要停掉重新打包,重新启动,如果有这个过程的话,一定要来temp目录下看一看,有没有.pid结尾的文件,如果有的话就删除掉,当然如果oozie跑着好好的,不要把.pid结尾的文件删除掉,否则就会导致oozie停不掉,只能kill掉

启动成功的话如下图:
大数据学习笔记之Oozie(一):Oozie入门_第9张图片
6.11、启动Oozie服务
$ bin/oozied.sh start
(关闭Oozie服务:$ bin/oozied.sh stop)
6.12、访问Oozie的Web页面
http://hadoop-senior01.itguigu.com:11000/oozie
大数据学习笔记之Oozie(一):Oozie入门_第10张图片

如何查看异常?在logs目录下有catalina.out

7、案例

7.1、案例一:使用Oozie调度Shell脚本

7.1.1、解压官方案例模板
$ tar -zxf oozie-examples.tar.gz
7.1.2、创建工作目录
$ mkdir oozie-apps/
7.1.3、拷贝任务模板到oozie-apps/目录
$ cp -r examples/apps/shell/ oozie-apps/
在shell目录下有job.properties(当前任务调度的属性信息) 和 workflow.xml(调度任务的工作流),在oozie进行调度的时候,配置文件必须上传到hdfs系统,所以应该把这两个模板拷贝到自己的文件夹,修改完成之后上传到hdfs
7.1.4、随意编写一个脚本p1.sh
$ vi /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-apps/shell/p1.log
内容如下:
#!/bin/bash
/usr/sbin/ifconfig > /tmp/p1.log
7.1.5、修改job.properties和workflow.xml文件
** job.properties

#HDFS地址
//如果是集群的话就不要写8020了,写mycluster
//
//
//	
//	//这里的mycluster和上面名称一致
//		dfs.ha.namenodes.mycluster
//		nn1,nn2
//  

nameNode=hdfs://hadoop-senior01.itguigu.com:8020
#ResourceManager地址
jobTracker=hadoop-senior02.itguigu.com:8032
#队列名称
//oozie在任务调度的时候会产生一个任务队列
queueName=default
//存放job.properties 和 workflow.xml的目录
examplesRoot=oozie-apps

//oozie app的存放路径
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
//如果希望oozie调度某个脚本的话,就将这个脚本赋值给变量EXEC
//脚本中的内容任意
EXEC=p1.sh

p1.sh需要放在和job.properties 和 workflow.xml同目录的文件夹下,

** workflow.xml

//workflow-app表示是一个workflow的工作调度
<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
//任务在开始的时候,首先去执行谁
    <start to="shell-node"/>
    //action是一个任务
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
        //这里的jobTracker、nameNode和queueName是直接引用的 job.properties 里面的内容
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            //这里原来是echo 下面 argument中的内容
            //这里我们改成执行我们的脚本
            <exec>${EXEC}</exec>
            <!-- <argument>my_output=Hello Oozie</argument> -->
            //注意后面的${EXEC}#${EXEC},如果不这样写的话是找不到这个文件的
            <file>/user/admin/oozie-apps/shell/${EXEC}#${EXEC}</file>

            <capture-output/>
        </shell>
        //如果成功的话跳转到end
        <ok to="end"/>
        //如果失败的话跳转到fail
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">
                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
            </case>
            <default to="fail-output"/>
        </switch>
    </decision>
   //如果失败的话kill掉自己
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]
        </message>
    </kill>
    <end name="end"/>
</workflow-app>

如果需要修改任务,需要kill掉当前的任务,从hdfs上删除原来的配置文件,然后上传新的配置文件,再重新启动。

7.1.6、上传任务配置
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-apps /user/admin
大数据学习笔记之Oozie(一):Oozie入门_第11张图片
7.1.7、执行任务
$ bin/oozie job -oozie http://hadoop-senior01.itguigu.com:11000/oozie -config oozie-apps/shell/job.properties -run

http://hadoop-senior01.itguigu.com:11000/oozie oozie的服务器地址 -config oozie-apps/shell/job.properties 是oozie的配置文件
执行完之后会生成一个jobid,用于下面杀死某个任务
大数据学习笔记之Oozie(一):Oozie入门_第12张图片
7.1.8、杀死某个任务
$ bin/oozie job -oozie http://hadoop-senior01.itguigu.com:11000/oozie -kill 0000004-170425105153692-oozie-z-W

查看页面:
大数据学习笔记之Oozie(一):Oozie入门_第13张图片
双击打开会有一些任务信息
大数据学习笔记之Oozie(一):Oozie入门_第14张图片

注意:如果某个任务没有成功调度的话,上图中是删除不掉的,也kill不掉,也就是说执行了上面的杀死命令,在这个页面中这个任务也还是存在的,那是不是没有办法了呢?可以进入mysql drop database oozie ; 删除掉oozie这个数据库,或者进入删除具体的某张表的某个数据。强迫症患者~哎,可以再use oozie ; seledt * from WF_ACTIONS里面看到,并删除。

如果成功的话在MapReduce中也是有oozie这个任务的,对应于ob.properties中的MapReduce配置
大数据学习笔记之Oozie(一):Oozie入门_第15张图片
执行完了之后
all jobs里面刚才的任务没有了,因为到了done jobs里面
大数据学习笔记之Oozie(一):Oozie入门_第16张图片

这个时候到第二台机器查看 ,刚才执行的脚本是将某个日志复制到某个目录 ,发现是没有的
大数据学习笔记之Oozie(一):Oozie入门_第17张图片
因为MapReduce的调度,所以在放到了第三台
到第三台上查看
大数据学习笔记之Oozie(一):Oozie入门_第18张图片
如果希望固定放到某个机器上,可以在脚本里面写 ssh 固定某台机器

7.2、案例二:执行多个Job调度

7.2.1、解压官方案例模板
job.properties

nameNode=hdfs://hadoop-senior01.itguigu.com:8020
        jobTracker=hadoop-senior02.itguigu.com:8032
        queueName=default
        examplesRoot=oozie-apps

        oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
        EXEC1=p1.sh
        EXEC2=p2.sh

        workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="p1-shell-node"/>
    <action name="p1-shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC1}</exec>
            <file>/user/admin/oozie-apps/shell/${EXEC1}#${EXEC1}</file>
            <!-- <argument>my_output=Hello Oozie</argument>-->
            <capture-output/>
        </shell>
        <ok to="p2-shell-node"/>
        <error to="fail"/>
    </action>

    <action name="p2-shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC2}</exec>
            <file>/user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}</file>
            <!-- <argument>my_output=Hello Oozie</argument>-->
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">
                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
            </case>
            <default to="fail-output"/>
        </switch>
    </decision>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

上面的配置文件主要是增加了一个actoin,第一个action不是to end 变成了,第二个才是

执行之前将之前上传的文件全部删掉,直接删掉原来的oozie-apps目录,然后重新上传、运行
大数据学习笔记之Oozie(一):Oozie入门_第19张图片

测试时需要留意的点:
1、每个脚本是在哪台机器上执行的。
2、脚本的执行时间。
3、发现一个问题:执行任务的时间和本地时间不一致。它的时间是utc的,比北京的时间慢了八个小时。

7.3、案例三:调度MapReduce任务

7.3.1、先编写一个可以运行的MR任务的.jar包
7.3.2、拷贝官方模板到oozie-apps

$ cp -r /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/ /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-apps/

7.3.3、测试一下wordcount在yarn中的运行
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output111/

为什么要跑这个任务?一会在配置workflow的时候,需要用到MapReduce在运行的过程中出现的各种参数,比如mapclass、reduceclass、输出的类型等,如果代码是自己写的可以直接拷贝,但是如果不是自己写的,需要看代码的内部结构,比较麻烦,所以可以通过页面查看MapReduce的history,查看已经运行好的任务的参数。

可以到概览页面,然后点击history,再点击configuration,就能够看到各种参数
大数据学习笔记之Oozie(一):Oozie入门_第20张图片
可以直接搜索找到需要的配置参数。

7.3.4、配置map-reduce任务
job.properties

nameNode=hdfs://hadoop-senior01.itguigu.com:8020
jobTracker=hadoop-senior02.itguigu.com:8021
queueName=default
examplesRoot=oozie-apps
#hdfs://hadoop-senior01.itguigu.com:8020/user/admin/oozie-apps/map-reduce/workflow.xml
        oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/map-reduce/workflow.xml
//输出路径可有可无,这里面的参数都是为了在下面的配置文件中进行引用的,可以在这里进行引用,也可以
//在下面的配置文件中写死。
outputDir=map-reduce
workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf">
    <start to="mr-node"/>
    <action name="mr-node">
    	//下面的configuration中的内容是对map-reduce生效的
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            //在运行之前可以做一些准备工作
            <prepare>
            //删除output目录
                <delete path="${nameNode}/output/"/>
            </prepare>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <!-- 配置调度MR任务时,使用新的API,即MapReduce,老的是MapRed。改为true即可-->
                <property>
                    <name>mapred.mapper.new-api</name>
                    <value>true</value>
                </property>

                <property>
                    <name>mapred.reducer.new-api</name>
                    <value>true</value>
                </property>

                <!-- 指定Job Key输出类型 -->
                <property>
                    <name>mapreduce.job.output.key.class</name>
                    <value>org.apache.hadoop.io.Text</value>
                </property>

                <!-- 指定Job Value输出类型 -->
                <property>
                    <name>mapreduce.job.output.value.class</name>
                    <value>org.apache.hadoop.io.IntWritable</value>
                </property>

                <!-- 指定输入路径 -->
                <property>
                    <name>mapred.input.dir</name>
                    <value>/input/</value>
                </property>

                <!-- 指定输出路径 -->
                <property>
                    <name>mapred.output.dir</name>
                    <value>/output/</value>
                </property>

                <!-- 指定Map类 -->
                <property>
                    <name>mapreduce.job.map.class</name>
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                </property>

                <!-- 指定Reduce类 -->
                <property>
                    <name>mapreduce.job.reduce.class</name>
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                </property>

                <property>
                    <name>mapred.map.tasks</name>
                    <value>1</value>
                </property>

            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

7.3.5、拷贝待执行的jar包到map-reduce的lib目录下
$ cp -a /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar ./
7.3.6、上传配置好的app文件夹到HDFS
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put map-reduce/ /user/admin/oozie-apps

大数据学习笔记之Oozie(一):Oozie入门_第21张图片
是可以看到刚才上传的jar包的oozie提供的官方的jar没用,上传上来也不会坏了一锅汤
7.3.7、执行任务
$ bin/oozie job -oozie http://hadoop-senior01.itguigu.com:11000/oozie -config oozie-apps/map-reduce/job.properties -run

查看任务情况

7.4、案例四:Coordinator周期性调度任务(这个最后是没有成功的,start和stop配置的格式的问题,不要修改时区试试,毕竟修改时区是为了强迫症患者~)

7.4.1、配置Linux时区
详见Hive第一天Word文档
7.4.2、修改oozie-default.xml文件,涉及属性:
** 修改oozie的时区
oozie.processing.timezone
GMT+0800(默认是UTC的)
7.4.3、修改js框架中的关于时间设置的代码
$ vi /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js

修改如下:
function getTimeZone() {
Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
return Ext.state.Manager.get(“TimezoneId”,“GMT+0800”);
}
7.4.4、重启oozie服务,并重启浏览器(一定要注意清除缓存)
$ bin/oozied.sh stop
$ bin/oozied.sh start
然后重新查看时间

7.4.5、拷贝官方模板配置定时任务
$ cp -r /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/examples/apps/cron/ /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-apps/
7.4.6、修改模板
job.properties

nameNode=hdfs://hadoop-senior01.itguigu.com:8020
jobTracker=hadoop-senior02.itguigu.com:8032
queueName=default
examplesRoot=oozie-apps

        oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/cron
#start:必须设置为未来时间,否则任务失败,一次都不会执行
start=2017-07-29T17:00+0800
end=2017-07-30T17:00+0800
workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron

EXEC1=p1.sh
EXEC2=p2.sh

coordinator.xml

//frequency频率的意思,这里是每十分钟执行一次
//start 开始时间 引用前面的配置文件 end 结束时间 timezone时区
<coordinator-app name="cron-coord" frequency="${coord:minutes(10)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">
    <action>
        <workflow>
            <app-path>${workflowAppUri}</app-path>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>${jobTracker}</value>
                </property>
                <property>
                    <name>nameNode</name>
                    <value>${nameNode}</value>
                </property>
                <property>
                    <name>queueName</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
        </workflow>
    </action>
</coordinator-app>

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">
<start to="p1-shell-node"/>
<action name="p1-shell-node">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${EXEC1}</exec>
        <file>/user/admin/oozie-apps/shell/${EXEC1}#${EXEC1}</file>
        <!-- <argument>my_output=Hello Oozie</argument>-->
        <capture-output/>
    </shell>
    <ok to="p2-shell-node"/>
    <error to="fail"/>
</action>

<action name="p2-shell-node">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${EXEC2}</exec>
        <file>/user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}</file>
        <!-- <argument>my_output=Hello Oozie</argument>-->
        <capture-output/>
    </shell>
    <ok to="end"/>
    <error to="fail"/>
</action>
<decision name="check-output">
    <switch>
        <case to="end">
            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
        </case>
        <default to="fail-output"/>
    </switch>
</decision>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
</kill>
<end name="end"/>
</workflow-app>

7.4.7、上传配置,启动任务
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps
$ bin/oozie job -oozie http://hadoop-senior01.itguigu.com:11000/oozie -config oozie-apps/cron/job.properties -run
(尖叫提示:oozie允许的最小执行任务的频率是5分钟)

小问题总结 (排查问题):

1、Mysql权限配置
2、workflow.xml配置的时候不要忽略file属性
3、jps查看进程时,注意有没有bootstrap
4、关闭oozie
	** bin/oozied.sh stop)如果无法关闭,则可以使用kill
	** kill -9 11111
		kill之后oozie-server/temp/xxx.pid文件一定要删除
5、Oozie重新打包时,一定要注意先关闭进程,删除对应文件夹下面的pid文件。(可以参考第4条目)
6、配置文件一定要生效
	** 起始标签和结束标签无对应则不生效
	** 配置文件的属性写错了,那么则执行默认的属性。
7、libext下边的jar存放于某个文件夹中,导致share/lib创建不成功
8、-rmr share/lib这样是不行的。 rm -rmr /user/admin这样删除是错误的。
9、调度任务时,找不到指定的脚本,可能是oozie-site.xml里面的Hadoop配置文件没有关联上
10、修改Hadoop配置文件,需要重启集群。一定要记得scp到其他节点
11、JobHistoryServer必须开启,集群要重启的。
12、Mysql配置如果没有生效的话,默认使用derby数据库
13、在本地修改完成的job配置,必须重新上传到HDFS
14、将HDFS上面的配置文件,下载下来查看是否有错误。
15、Linux用户名和Hadoop的用户名不一致。

你可能感兴趣的:(Big,Data,Cloud,Technology❤️,#,Big,Data,------,Oozie)